Grok Bot 最近火得一塌糊涂,但很少有人讲清楚它背后到底是怎么搭出来的。最近斯坦福的 CS146S 课堂上,一位来自 SpaceX(之前在 Cursor 干过)的工程师,把 Grok Bot 的架构和设计思路从头到尾拆了一遍。
他先讲了开发者跟 AI 打交道的四个阶段。最早就是从 ChatGPT 复制粘贴代码,很原始。后来模型能在终端帮你改文件、跑命令了。再后来大家把 Agent 丢到云端,同时开好几个,但每个命令你还得亲自点头。到了 Grok Bot 这一代,事情变了:你关掉电脑,它还在跑;它崩溃了,能自动恢复;它有自己的一台 Linux 虚拟机,上面装着浏览器、文件系统、桌面,跟给它配了一个真实工位一样。
Grok Bot 的核心体验是让你觉得在跟一个同事协作。它知道什么时候该闷头干活,不会每做一点进展就跑来刷存在感,只有真正重要的事才通知你。你可以像跟朋友发消息一样,连着说好几件事,中途改主意也行,它自己能理清楚上下文。在 SpaceX 内部,已经有员工开会来不了的时候,直接让自己的 Bot 代替参加,帮忙记笔记、整理要点,然后回来汇报。
先说架构。Grok Bot 的大脑跑在服务器上,和那台虚拟机是分开的。虚拟机要打补丁、要重启,都不影响 Bot 本身在干活。客户端和服务器之间只有一个通信工具,叫“发送给用户”。不管你是从手机 App 用、从桌面客户端用、还是从 Slack 或邮件触发,走的都是同一条通道。服务器那边放了大量的重型工具,跑命令、读文件、操控浏览器、调用子 Agent,全在那头完成。如果中途出了故障,系统会从断点接着干,不用从头来过。他们用了一个叫 Temporal 的开源框架来保证这件事。
然后说怎么省钱。模型的上下文窗口有限,不可能把几十个工具的完整说明书全塞进去。所以 Grok Bot 做了动态加载:平时只放工具名字列表,等 Bot 决定要用哪个了,再去读详细定义。对话聊久了上下文会膨胀,他们会趁缓存还没过期就提前做一轮摘要,等你下次回来,上下文已经被压缩好了,token 成本直接降下来。主 Agent 还会把重活丢给子 Agent 去做,子 Agent 干完只把结果带回来,不占主对话的空间,这样就造出了“上下文无限”的感觉。
安全方面,每条系统命令跑之前,都会有另一个 AI 模型先审一遍,他们管这个叫“自动审查”。做过盲测,AI 审命令的准确率比人盯着看还高。发邮件、发 Slack 这些不可撤回的操作,还是会弹出来让你确认。
最后他聊到一个设计理念,叫“删除产品”。你得假设今天的模型是史上最差的版本,六个月后什么都可能变,所以界面尽量简单、架构尽量灵活,随时准备推倒重来。他预测,很快这些 Bot 就能连续跑几周甚至几个月。到那时候,怎么评估一个跑了一个月的 Bot,怎么让记忆系统更聪明,怎么在“主动帮忙”和“别来烦我”之间找准分寸,都是接下来整个行业要啃的硬骨头。
#科技先锋官##How I AI#
发布于 山东
