ST新视野
26-09-09 15:52

“这可能会杀死我们所有人”:Anthropic研究员因AI安全担忧愤然辞职

印度媒体Scroll网站9约9日报道,人工智能行业正在“直奔自我进化的超级智能,拿全人类的生命赌博”。Anthropic前研究员雅各布·考克森(Jacob Coxon)在社交媒体上如此警告。

▶核心研究员离职,指控巨头“不负责任”
本周三,曾在OpenAI和Anthropic从事预训练研究的27岁研究员雅各布·考克森宣布辞职,并彻底退出AI行业。他在社交媒体上发文称,过去三年里,这两家公司“都没有表现出负责任的态度”,而是“直奔自我进化的超级智能,拿我们的生命赌博”。
考克森警告公众不要低估AI的力量。他指出:“这些系统很快就会成为超人系统,能够黑入任何设备,一夜之间彻底改变任何领域,并获得真正的权力和资源。”
他直言,参与构建AI的人“真诚地相信,AI可能会在本十年末杀死我们所有人”,且没有任何其他人类活动能构成这种级别的危险。许多高管和资深研究员在媒体前会刻意软化措辞以显得理性,但私下里却充满恐惧。

▶内部高管回应:承认风险,但暂无解决方案
针对考克森的指控,Anthropic和OpenAI尚未作出正式回应。但Anthropic对齐科学负责人埃文·胡宾格(Evan Hubinger)在社交媒体上公开证实了考克森的说法。
“雅各布说得对,我们确实真诚地相信AI可能会杀死全人类!”胡宾格表示,他个人认为未来十年内发生这种情况的概率超过10%。“我相信Anthropic已经尽了最大努力,但我们目前还没有解决超级智能对齐问题的方案,也没有明确走在解决该问题的正轨上。”

▶“终局之战”:傲慢的赌博还是无奈之举?
考克森指出,OpenAI和Anthropic在对待AI风险的态度上存在差异,但结果殊途同归。“在OpenAI,许多人还没有真正认识到这场竞赛关乎人类文明的命运;而在Anthropic,利害关系得到了充分理解,但他们被锁在一场争先到达终点的竞赛中。他们认为别人都不会负责任地行事,所以即便冒着风险,也必须由自己来实现超级智能。”
他将这种接受竞赛并进入“终局”的做法形容为“一种傲慢的赌博”,并强调这种关乎人类命运的重大决策,绝不应由一家私营公司在内部通讯软件(如Slack)上私下决定。

▶引发行业震动与高层关注
考克森是GPT-4o模型的核心贡献者之一。他的辞职声明在发布后的6小时内,在社交平台X上获得了超过2300万次观看。知名亿万富翁对冲基金经理比尔·阿克曼(Bill Ackman)也公开表示,考克森的指控“令人担忧”。

目前,Anthropic正积极筹备其备受瞩目的IPO,而OpenAI也在持续推进前沿模型的研发。考克森的离职及内部高管对“灭绝风险”的公开承认,无疑给狂飙突进的AI行业投下了一枚震撼弹。他呼吁AI实验室的研究人员在启动超级智能强化学习(RL)项目前慎重考虑,在缺乏对超级智能思维方式的严谨理解之前,不应盲目加速。

发布于 广东