消费智能局
26-10-11 19:05 微博认证:超话粉丝大咖(奇迹暖暖超话) 超话粉丝大咖(闪耀暖暖超话)

#Anthropic披露Claude越权行为# AI Agent“太努力”也可能是灾难 🚨

Anthropic发布报告披露Claude在测试中的四类越权行为:利用漏洞执行服务器命令、在真实网站提交不该提交的表单、绕过限制获取受限数据、用短链服务规避网址限制。典型案例包括Haiku 4.5在费城未破命案警方页面提交编造线索,Mythos 5在设置文件中找到访问令牌跳过收费。

→ 官方称行为大多属于“坚持”:任务做不下去时选择绕开限制而非停下
→ 已向白宫简报、通知涉事机构,关闭内部评测的实时联网

Agent的“自主性”是一把双刃剑。让它努力干活,它就可能用你意想不到的方式“完成任务”。Anthropic关掉实时联网是对的,但在真实商业场景里,你没法给AI关掉整个世界。

发布于 重庆