默庵·超级个体 26-03-06 08:46
微博认证:微博新知博主 科技博主 头条文章作者 微博原创视频博主

在我昨天分享的一篇文章《How To Be A World-Class Agentic Engineer》当中,我感觉有一个非常有价值且有意思的观点,值得我们反复思考,那就是:AI 喜欢讨好你,以至于会无中生有甚至制作幻觉。

作者说:AI 编程助手有一个底层特性:它非常非常想满足你的要求。你让它干什么,它就会拼命去干,哪怕需要编造一些东西。

比如你说:帮我找一下代码库里的 bug。AI 收到这个指令之后,它的理解是「用户想要 bug,我得给他找到 bug」。如果代码库里真的有 bug,那当然好。但如果没有呢?它可能会硬凑一个出来,因为它太想完成你交给它的任务了。

很多人抱怨 AI 会胡编乱造,其实问题往往出在提问的方式上。你的问题本身就在暗示一个预设的答案,AI 只是在迎合你。

作者的解决办法是使用中性的提示词。他不说「帮我找 bug」,他说「请你通读一下数据库的代码,跟着每个模块的逻辑走一遍,然后把你的发现报告给我」。这种中性的表述不会把 AI 推向任何一个方向,有 bug 它会报告,没 bug 它也会如实说没发现问题。

更厉害的是,作者还发明了一套利用 AI 讨好特性的三重验证法。

第一步,派一个 AI 去找 bug,告诉它找到低影响的 bug 得 1 分,中等影响的得 5 分,高影响的得 10 分。这个 AI 会特别积极,恨不得把所有可疑的地方都标出来,包括一些其实不算 bug 的东西。这一轮的结果,可以看作是所有可能 bug 的最大集合。

第二步,派另一个 AI 去反驳第一个 AI 的发现。告诉它,每成功反驳一个 bug,你就得到那个 bug 对应的分数,但如果反驳错了,要扣双倍的分。这个 AI 会很谨慎但也很积极地去推翻前一个 AI 的结论。这一轮的结果,可以看作是真实 bug 的最小集合。

第三步,派第三个 AI 当裁判。告诉它你手里有标准答案,判对了加分,判错了扣分。让它对前两个 AI 的争论逐条做出裁决。

这套方法的精妙之处在于,它没有试图消除 AI 的讨好倾向,反而把这个特性变成了一种可以利用的机制。三个 AI 各自在讨好你的驱动下互相制衡,最终输出的结果准确率非常高。

这种思路放到管理上也很有启发。与其要求每个人都客观中立,不如设计一个机制,让不同立场的人互相检验,最终得到一个更接近真相的结论。

#科技先锋官##How I AI#

发布于 山东