Back to Reading Room

LA BIBLIOTHÈQUE · READING NOTE

Compressive Transformers for Long-Range Sequence Modelling

Rae et al.

To Read · 想看

AIMemoryPapers

Memory Compression, Long-Term Memory, Forgetting, Transformer

在 Transformer-XL 的 Memory 基础上进一步引入压缩机制。旧记忆不直接删除,而是压缩后继续保存,探索长期记忆容量与信息损失之间的平衡。