硅谷的聚会真不少。不是那种吃喝玩乐的局,是技术人凑在一起碰撞想法、分享经验的小型聚会。这不,Andrej Karpathy 最近在一场这样的聚会上,聊了聊他这几年跟 Agent 打交道的心得。
他主要讲了四个点,每个都挺值得琢磨。
第一,2016 年 OpenAI 做 agent,做得太早了。当时他们想用强化学习训出一个能操作电脑、点网页、完成各种任务的 agent,项目叫 World of Bits。但那时候整个技术栈都不成熟,基本只能靠 RL 去硬撞 reward,效果可想而知。
第二,后来证明正确的路线是先去做语言模型。他觉得当年放下 agent、转头去构建 language model 这个决策是对的。今天 agent 重新火起来,根本原因是底层工具已经完全换了一代。现在做 agent 靠的是语言模型、工具调用、记忆、规划这些能力的组合,跟当年纯靠 RL 硬训完全是两回事。
第三,Agent 很容易做 demo,但很难做成产品。他提醒大家别被 demo 迷惑。自动驾驶、VR 都是类似的例子:想象起来容易,做个演示也容易,但真正做成可靠的产品可能需要十年。Agent 也一样,适合长期投入,不适合短期幻想。
第四,Agent 需要从人类认知结构里找灵感。他提到可以重新回到神经科学去借鉴,比如海马体对应记忆和检索,前额叶对应规划和反思,丘脑和基底节可能对应多模块之间的协调。语言模型只是其中一个组件,真正的 agent 需要一整套认知工具协同运作。
最后他说了一句挺鼓舞人的话:现在做 agent 的创业者和 hacker,可能真的站在能力的边界上。大模型训练这块,大实验室已经摸得很透了,但 agent 领域还很新,大量东西还没有被系统探索过。机会就在这里。
#科技先锋官##How I AI# http://t.cn/AXoNo1vK
发布于 山东
