#DeepTech人物访谈# 【对话上交大蔡登：比RSI更本质的是部署后自进化，关键是让上下文学习无限持续】

当前，#大模型# 的“记忆”大多依赖同一种机制：把信息存储在模型权重之外的数据库中，需要时检索出来，再注入上下文窗口供模型使用。这一方法在 2020 年被 Facebook 人工智能研究院（Facebook AI Research）正式命名为检索增强生成（RAG）。从联网搜索到各类智能体的记忆系统，基本沿用这一框架。

而在 RAG 概念正式形成之前，蔡登就开启了这方面的研究。2019 年，他在香港中文大学读博期间，提出用检索到的历史对话作为“记忆”，引导对话模型生成回复。

七年后的今天，他对这条路线的判断有了变化。外部检索的信息最终仍要回到有限的上下文窗口，许多难以文字化的经验无法存入数据库，复杂任务所需的知识也很难通过一次检索取全。他认为，真正的持续学习最终需要模型在使用过程中更新自身的参数。

这一判断与当下两条行业主线密切相关。其一是递归自我改进（RSI）：这一方向主张由 AI 参与设计和训练下一代 AI，近期出现了不少进展。但蔡登认为，这类工作本质上仍是部署前优化，优化的是所有部署的平均，而私有数据、隐性经验、试错中产生的新认知和快速变化的环境所催生的能力缺口，只能在部署之后弥补。

戳链接查看详情：http://t.cn/AXl9mRc9