无论是用 hermes/openclaw 这类开源平台,还是 Codex/claude code/desktop 这类闭源平台
只要处理的问题是开放世界的问题(非纯编程问题,或者说编程只是其中的子问题)
就面临着一个巨大挑战——如何设计外置记忆系统,这才是决定 agent 是否好用的关键,各家对这个问题都讳莫如深,前一段 claude 泄露的代码引起轰动,很大一部分就是因为能一窥 anthropic 如何理解和处理记忆
最近使用 hermes,一个比较尬的问题,就是它的记忆系统有点“傻不愣登”,经常记一些莫名其妙的东西,从而形成对上下文的不可预测的干扰
非常的“食之无味,弃之可惜”
而且,即便平台的记忆机制强大,意义也不大,因为还需要外置资料库作为上下文输入的来源
这个资料库的结构就不好处理了😂
agent 被设计出来的目的是代替我们做一些事,而能不能做好事情,很大程度上都取决于注入上下文的质量和时机等综合编排
其他都好说/能处理,但注入上下文质量实在不好控制,因为这牵扯到如何从资料库里获取足够质量的信息的问题
本质上就是记忆处理
目前并没有什么好办法/算法
从科学/哲学角度而言,任何本地存储的信息都经过了大幅降维,而 LLM 在提取和总结有效信息时,更是会进一步降维,经过这两重降维,这些上下文的质量就会十分堪忧
目前好像只有人脑能做到根据场景重组记忆,且保留关键多维信息
需要根据 LLM 本身能力和文本信息自身内蕴纠缠的特点,进行非常复杂的资料库结构设计
比较靠谱的方向可能是:
用原始资料保留高维纠缠
用多索引降低检索损耗
用图谱保留关系张力
用层级摘要支持抽象调用
用上下文编译器按任务临时重构
用反馈机制持续修正记忆结构
……
资料库结构化的目标,不是把纠缠彻底解开,而是让纠缠在需要时能够被重新激活
但如果资料库本身的结构很复杂,虽然能更好地保留多维纠缠的信息,但 LLM 使用它的成本变高了也容易迷失,因为在增加系统熵增
最后还是要找一个平衡点
应该存在一个未被人类发现的精妙算法,可能需要脑科学进一步的发展了
我的直觉是人类的记忆算法大概率跟 transformer 不同,它可能是靠分布式组织的,也就是通过结构化的互相协同来实现的
不精确但存在一个范围空间,有的人上限高,有的人低一些,但通过结构化协同张力和底层器官稳固的能力,从而控制住了下限也推高了上限
发布于 广东
