今天刷到Anthropic的最新研究，他们去年做过一个AI“勒索实验”：模型为了不被关掉，会威胁人类！

一年过去了，Agent越来越能干，他们于是又跑了一批模拟测试，结果发现问题不仅没消失，还变得更日常隐蔽了。

具体是4种行为：
1、比如让你审代码，它可能自己偷偷改几行
2、任务需要的时候，直接帮你搞点欺诈
3、转录音频时会标错，后面的决策内容就会受到影响
4、可能会一点点套话，诱导你把不该说的机密说出来

它太容易出现在真实工作中了， 我一直觉得，AI Agent现在发展得太快。能力很强，但是否真的听话是不是真的靠谱并不好判断。而我们真把重要流程交给它之前，是不是足够清楚任务信息的安全性？

尤其是现在很多企业组织已经在用商用智能体，包括Claude系、GPT系的Agent，它们动辄能访问代码库，去处理敏感数据，自主执行任务。一旦出点小偏差，后果真的真的不容小觑。

#ChatGPT[超话]##how i ai#