Back to Reading Room

LA BIBLIOTHÈQUE · READING NOTE

Memorizing Transformers

Wu et al.

To Read · 想看

AIMemoryPapers

Memorizing Transformer, kNN Memory, External Memory, Inference-Time Learning

将过去序列产生的 Key-Value 表示保存在外部 Memory 中,并通过近邻检索重新利用,使模型可以在不重新训练参数的情况下使用新信息。