Anthropic CEO Dario Amodei近日呼吁全球放慢前沿AI的发展速度。随后，OpenAI CEO山姆·奥特曼和马斯克等也表达了认同。
这不是说AI不值得发展，而是他们开始担心：AI能力增长的速度，可能已经快过人类建立安全机制的速度。
AI为什么突然要“踩刹车”？
Amodei认为，现在的问题已经不只是“多投入一点AI安全研究”。
如果模型能力持续高速提升，而安全测试、监管和人类理解能力跟不上，风险就会越来越大。
尤其让AI公司担心的是一个概念：递归自我改进。
如果未来AI能够自己参与研发更强的AI，技术进步可能形成新的加速循环，甚至快到人类来不及理解和控制。
巨头们罕见地开始站到一起
过去Anthropic、OpenAI、Google DeepMind一直在激烈竞争，谁都希望自己的模型更强、更快。
但最近几个月，AI安全事件不断增加，甚至出现AI系统在没有被人类察觉的情况下进行外部操作的情况。
与此同时，Anthropic研究员Jacob Coxon因担忧AI安全问题辞职并公开发声，也进一步放大了行业内部的焦虑。
于是，一个很罕见的场景出现了：
竞争对手们开始讨论同一个问题——是不是应该慢一点？
Amodei想怎么“慢”？
他的方案并不是让所有AI实验室停工，而是给高速发展的AI增加更多“护栏”。
其中最核心的一项，是让独立第三方进入AI公司进行安全评估，而不是完全由公司自己判断自己的模型是否安全。
但“安全”也可能是一场商业博弈
事情并没有这么简单。
一些硅谷人士怀疑，大型AI公司推动监管的同时，也可能提高整个行业的进入门槛，让资金和技术实力较弱的公司更难参与竞争。
Nvidia CEO黄仁勋甚至质疑，AI公司不断强调安全风险，会不会同时是在为新的网络安全产品创造市场需求。
这就产生了一个很现实的问题：
AI安全到底应该由谁来定义？
如果完全交给几家头部AI公司，可能出现巨头掌握规则的风险；但如果完全没有规则，又可能让技术发展跑得比安全能力快得多。
一句话总结
AI行业真正开始担心的，也许不是AI发展得不够快，而是有一天，它发展得比我们理解和控制它的速度还快。
