今天重刷《记忆碎片》,有点新的感触。
男主的行为逻辑,其实很像一款AI-agent:
📝上下文窗口很短,每隔一段时间就会发生会话重启;
📝无法形成长期连续记忆,需要外部记忆系统(照片、文字、纹身);
📝外部记忆的形成经过了压缩,这个过程中常常丢失关键信息;
📝重启会话后,读取记忆摘要来重建语境。
这个过程,就很像当前agent给未来agent写prompt。
而未来的agent缺少完整上下文,只能相信这个prompt。
所以当这个prompt被污染之后(DON’T BELIEVE HIS LIES),目标就开始逐渐偏移。更糟糕的是,未来的agent将偏移后的目标当成了使命,最终造成了灾难性的结果。
反过来看,想要一个AI-agent可靠运行,仅仅靠着压缩后的记忆碎片也是不够的,还需要记忆的可靠性检测与防污染机制、prompt的写入权限控制、以及同原始目标的定期校准。否则,系统最后跑出来的东西,可能已经和最初的目标大相径庭。
嗯……挺奇妙的发现。[并不简单]
发布于 北京
