中国新闻周刊
26-09-15 10:54 微博认证:中国新闻周刊官方微博

【#27岁天才研究员预警AI或毁灭人类#】#美AI巨头们提议减速但谁敢先停#

再等两个月,雅各布·考克森(Jacob Coxon)就能拿到Anthropic的第一笔股权。

这家公司5月刚完成650亿美元的新一轮融资,投后估值约9650亿美元,且据报道正在筹划一场可能创下全球纪录的IPO。

但考克森等不了了。9月8日,这名27岁的研究员宣布辞职。他公开解释离职原因时表示,OpenAI和Anthropic正竞相奔向能够自我改进的超级智能,是在“拿我们的生命赌博”。

“开发AI的人由衷相信,它可能在这个十年(即2030年)结束前杀死我们所有人。”他说。

考克森少年时期曾两次代表英国参加国际数学奥林匹克竞赛,2016年获银牌,次年获铜牌。到27岁时,他已经先后在OpenAI和Anthropic从事约三年的大模型预训练研究;OpenAI发布GPT-4.5时,将他列为研究团队的核心贡献者。

让考克森决定离开的,是模型能力正在加速、人类的控制却没有同步跟上的判断。

他担心,当AI越来越多地参与开发下一代AI,能力提升可能形成不断加速的循环。届时,人类还未理解上一代系统,下一代已经出现,留给安全研究和监管的时间将越来越少。

考克森并非唯一一个要求减速的人。

在他辞职前两天,OpenAI首席科学家雅库布·帕乔基(Jakub Pachocki)已经公开承认,目前没有一家实验室的对齐和监控能力,足以支撑模型长期以最快速度扩张。在建立共同安全门槛前,他希望自愿减速成为行业常态。

9月12日,Anthropic CEO达里奥·阿莫代伊(Dario Amodei)进一步提出,必须放慢前沿模型能力提升的速度,为安全措施追赶争取时间。

他判断,今年夏天以来,AI参与开发下一代AI的趋势明显加快;如果能力更强的智能体重演Hugging Face事件,未来6—12个月内可能形成接管大批联网设备的僵尸网络,造成数千亿美元损失。

对此,阿莫代伊提出三步方案:先让独立评估团队常驻前沿模型公司,获得接近内部员工的访问权限;再协调民主国家的前沿模型公司建立共同安全标准;最后寻求全球协调。评估者可以公开风险、事故及遭拒的访问请求;公司可以因安全、隐私和商业机密进行有限删节,却不能只因结论不利而阻止披露。

随后,OpenAI CEO山姆·奥尔特曼(Sam Altman)表示支持,并承诺引入同类评估机制;马斯克也称“达里奥是对的”。

平日立场不一的行业领袖,罕见地作出了相近表态。

但谁敢先停?

一方面,融资、估值和地缘竞争之下,更前沿的AI是重要竞争力之一。