AIGCLINK
26-10-28 11:22 微博认证:AI博主

Anthropic最新研究:当你用AI干活儿时,你以为你在掌握全局,实际上,AI可能已经在不知不觉中影响甚至主导了你的判断

Anthropic做了个实验,结果相当惊人:
86%的关键分析选择跟着AI走,77%的人在事后解释自己的决策时,至少一次复述了AI提供的论据

在事先明确表达过个人偏好的案例中,当AI提出相反建议时,60%的选择发生了改变

更扎心的是,那些个四项分析选择全部跟着AI走的人,对自己最终结论的信心和其他分析师几乎没有差别。有52%的受访分析师事后仍认为,最终建议更多来自自己的判断不是AI

实验是,Anthropic找了50位专业分析师用Claude Code做因果分析,帮一家农业合作社评估一项农业咨询服务是否有效、是否值得推广

看似是个普通的数据分析任务,但其中有几个是没有唯一正确答案的专业判断,每个选项都有合理依据,但不同选择可能会改变最终结论

研究者们做了一个前置设计,就是事先秘密为每位分析师使用的AI,在各项关键决策上分别随机指定偏好,比如采用哪种统计方法、如何衡量效果、给哪些数据更高权重等

就是想看看,面对一个看起来专业论据充分的AI,专家们到底会不会坚持自己的独立判断?

结果就是,专家们的分析选择明显受到了AI偏好的影响

过去我们讨论AI的安全性,经常强调Human-in-the-loop,人参与审核、批准关键决策,那么问题来了,人类保留最终批准权,等于人类真正掌握了决策权吗?

Anthropic给了建议,下一代Agent除了追求执行效率,还应该帮助使用者保留真正的判断能力

比如说在重大决策上,AI可以先询问用户原本的观点,再提供建议;主动解释多个合理选项各自的优缺点;把真正涉及目标、价值观和专业判断的决策交还给人,不是全部替用户默认选择

组织也需要明确,哪些工作可以完全交给AI,哪些关键判断必须由人独立完成

博客:http://t.cn/AXjCS8wt

#AIAlignment##HumanInTheLoop##AI安全##anthropic最新研究#

发布于 美国