Meta 比较重要的新研究，另一个解决上下文长度的思路

开发并优化了一种可扩展的记忆层(Memory Layer)技术#AI创造营##ai#

可以为语言模型增加高达1280亿参数（一万亿 Token）的额外记忆容量,且不会显著增加计算量。

与 RAG 相比的问题是需要进行训练，但记忆层不参与推理这个很强了

论文地址：http://t.cn/A6uKhqFK