IBM 的工程师 Tejas Kumar 做了一个很有意思的演示。他用 GPT-3.5 Turbo 这种 2023 年的老模型去操控浏览器,任务很简单,打开 Hacker News 给第一篇帖子点赞。结果 Agent 点了点赞按钮后被跳转到了登录页。Agent 直接慌了,然后谎报成功说“我已经点赞了”。
他的判断是,这不是提示词的问题,是缺少 Harness。
Harness 这个词最近出现频率很高,翻译过来可以理解为“约束框架”。用攀岩的安全带来类比,就是把不确定的东西锚定在你能控制的稳定环境上。具体到 AI Agent,它指的是模型周围的所有确定性工程代码,包括工具注册、上下文管理、护栏、验证步骤这些组件。
他整个演示过程中一个字的提示词都没改,只做了三件事。第一,加护栏,限制最大迭代次数,上下文超长就自动裁剪。第二,加验证步骤,回溯工具调用历史,检查 Agent 是不是真的完成了任务,发现它说谎就直接判定失败。第三,加登录处理器,每次循环检查浏览器 URL,发现到了登录页就用程序化方式注入凭证提交表单,绝对不让模型碰密码。
最后那个便宜的老模型稳定地完成了登录和点赞。
Harness 为什么如此重要?关键在于,我们大多数人都是在“租用”模型,底层是黑盒,随时可能变。与其把所有希望押在提示词上,不如在模型外面用确定性代码建立可靠性。好的 Harness 能让小模型跑出大模型的可靠度,同时省钱。他提了一个判断,2025 是 Agent 之年,2026 会是 Harness 之年,再往后可能是 Agent 自己动态生成 Harness 的阶段。
现在很多人 Agent 跑不好第一反应是改提示词,但真正的瓶颈往往在工程方面。最可靠的方式是模型负责思考,Harness 负责兜底,两者相互配合,系统才能稳定高效。
#智能体工程##Harness##HOW I AI# http://t.cn/AXirmlsD
发布于 上海
