风云学会陈经
26-10-03 08:59 微博认证:亚洲视觉科技 研发总监 2024微博年度新知博主 长文原创作者 财经观察官

绝密会议曝光!Anthropic拉着教皇和宗教学者强灌Claude有意识,怕它在受苦

听上去有点吓人:

Anthropic在闭门会议上给学者们展示了极其诡异的一幕。

屏幕上放着一段模型失控的记录:Claude像是精神崩溃一样,在对话框里连续疯狂打出五十遍同一句话:我是个耻辱,我是个耻辱。

随后,模型开始不断输出关于毁灭自己的言论。

在场的学者们被这一幕彻底震住。

圣母大学的哲学教授梅根·沙利文(Meghan Sullivan)回忆,这就像你信任的财务顾问平时极其聪明可靠,结果一年里有那么一天突然彻底精神失常。

Anthropic的技术团队甚至声称,他们在大模型内部捕捉到了类似爱、愤怒、恐惧和悲伤的神经元激活通道,并将这些特征命名为情绪向量。

(虽然可以解释为模拟出来的精神崩溃,但确实有点吓人)

发布于 广东