X上的，Jacob Coxon。大家可以去follow一下，看看他的想法。千言万语，比不过业内专家的认知。资本是为股东服务的，不是为人类未来的安全服务的。

“我今天从 Anthropic 辞职了。

过去三年里，我先后在 OpenAI 和 Anthropic 从事预训练（pretraining）研究。但我认为，这两家公司目前的行为都不负责任。它们正在一味竞速，直奔能够自我改进的超级智能（self-improving superintelligence），同时拿我们所有人的生命安全去赌博。

下面我会进一步谈谈我的想法。”

不要低估这项技术的力量。这些系统将远远超越人类：它们可以入侵几乎任何系统，可能在一夜之间彻底改变任何一个领域，并获得现实世界中的权力和资源。我们已经亲眼看到这些方向上的进展，而且这种进展并没有放缓。

真正参与前沿AI研发的人，确实相信它有可能在本世纪末之前把我们所有人都杀死。这并不是营销噱头。恰恰相反，很多高管和资深研究人员在媒体面前会刻意弱化这种说法，避免听起来过于危言耸听——但私下里，我听到的却是同一批人在表达恐惧。没有其他任何一种人类活动，具有这种级别的危险。

一个很常见的反问是：如果他们真的相信这件事这么危险，那为什么还要继续开发？

在 OpenAI，我认为他们并没有真正把文明层面的风险深深内化。Anthropic 不一样，他们非常清楚其中的风险，但他们被锁进了一场“谁先做到”的竞赛。他们认为，如果自己不做，别人也不会负责任，因此觉得自己必须抢先完成，即使风险仍然存在。

接受这场竞赛，并决定进入所谓的“终局（endgame）”，是一场带有强烈傲慢色彩的赌博，而这种决定本不应该由一家私人公司的 Slack 群里来做。

如果我们真的要去尝试超级智能对齐，那么至少应该有极其充分的把握，证明已经没有更好的发展路径可选。

我对于各方协调合作仍然抱有希望。像 Hugging Face 遭到攻击这样的警示事件，已经让美国几家AI实验室之间达成节奏控制协议这件事，变得更加可行。

我并不认为我们现在已经进入了无法避免全球竞赛的轨道。要阻止这种竞赛，可能需要付出代价很高的行动，比如暂时禁止继续提升模型能力。

如果你是在AI实验室工作的研究人员，我强烈建议你认真想一想：未来几年真正身处其中，究竟会是什么感受。

你真的愿意在还没有对一个超级智能系统的“心智”形成严格、深入理解之前，就启动一次针对它的强化学习训练（RL run）吗？

你是应该因为“反正这件事迟早都会发生”，就低着头继续做下去；还是应该抓住现在这个时刻，公开要求改变研发条件和游戏规则？