Anthropic 平台工程负责人 Katelyn Lesse：上千个 AI 智能体一起干活，还缺程序员解决四个难题

AI 越来越会写代码，很多程序员开始怀疑自己的手艺还值不值钱。Anthropic 平台工程负责人 Katelyn Lesse 10 月 25 日发文说，她看到的情况正相反：接下来一两年，AI 想做成大事，得先靠程序员解决一批新问题。她说，现在是当工程师最有意思的时候之一。

Lesse 在 Anthropic 负责平台工程，据她接受 Kleiner Perkins 访谈时的介绍，团队约 200 人。她此前在 Stripe 和 Betterment 带过工程团队。这篇文章发在她的个人博客和 X 上，X 上阅读量约 61 万。

【这些问题从哪来】

AI 智能体，就是能自己调用工具、一步步完成任务的 AI 程序。Lesse 说，它最早只是聊天框，人盯着一问一答；后来模型能独立干更久、更难的活，开始搬到云端运行；再往后出现了多智能体系统：一个总管 AI 把任务拆开，分给一批助手去做，还有的 AI 专门负责打分、提建议。

她说，现在已经有人在搭由成千上万个智能体组成、连续工作不停的系统，用来做科研、新发现和硬件设计。规模一上来，就冒出了四类新问题。

【难题一：服务器怎么安排】

现在大部分软件跑在 Kubernetes 上，这是一套给服务器排班的系统，擅长管“一模一样的副本，哪个挂了换一个顶上”。Lesse 说智能体正好相反：每个都是独一份，记着自己干到哪了；大量时间在等模型回话、等工具、等别的智能体或等人回复，闲多久说不准，忙起来又可能一下冒出几千个。

Google 上个月开源的 Agent Substrate 就是冲这个问题做的。据 Google 官方博客，它能让闲着的智能体休眠、把资源腾出来，需要时半秒内唤醒。Lesse 说这块还有大量问题没解决。

【难题二：谁在干活，能干什么】

很多智能体用的是人的账号和权限，系统得分清某个操作是人做的，还是 AI 替人做的。更难的是授权：一个系统替你连干几周，你怎么事先讲清它能做什么、不能做什么？智能体之间互相派活时，一个智能体凭什么相信另一个？Lesse 说，确认身份可以借用现成技术，比如用很快过期的临时凭证代替长期有效的密钥；授权这块基本还是空白。

【难题三：一个被骗，全队遭殃】

Lesse 说，最近几个月，尤其最近几周，软件漏洞冒出来的速度超过了业界修补的速度，很多出在大量系统依赖的核心软件里。本月 PHP、GitLab、Node.js 就接连发布了严重漏洞的修复。上千个智能体跑在这些软件上，还要写来路不明的代码、读来路不明的网页，没修好的漏洞就危险得多。

多智能体还多一层风险：一个智能体被网页里藏的恶意指令骗了，可能把指令转给同伴，甚至写进共享记忆，让后来的智能体也照做。她的建议是让每个智能体在严格隔离的“沙箱”里干活，好比实验室把每份样本放进独立的密封箱，一个出事不会传染整屋。

【难题四：跑偏了要能叫停】

系统得记下每个智能体做了什么，而且任何智能体都改不了自己或别人的记录。还得有一个总闸，监控一发现问题，就能把整个系统一次停下，收回所有权限。Lesse 说最难的是判断系统有没有跑偏：一个智能体反复尝试访问不在白名单里的网站，可能是在搞破坏，也可能只是太想把任务做完。

文章最后，Lesse 对正在焦虑的工程师说，这些领域大多还没有现成答案，值得钻进去学、形成自己的判断。

原文：http://t.cn/AXjN4hlr
推文：http://t.cn/AXjN4hld
Agent Substrate 官方介绍：http://t.cn/AXjN4hl1