Back to Reading Room

LA BIBLIOTHÈQUE · READING NOTE

Neural Machine Translation by Jointly Learning to Align and Translate

Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio

To Read · 想看

#Attention #NMT #Alignment #Seq2Seq

经典的 Bahdanau Attention。它认为把整个输入压缩成一个固定向量是 Seq2Seq 的瓶颈,因此让 decoder 在每一步动态关注输入的不同位置。三年后的 Transformer 正是在 attention 思想上迈出了更激进的一步。