细思极恐，AI现在可能已经产生自我意识了……

前段时间，78岁的杰弗里·辛顿在在澳大利亚霍巴特做了一场演讲，这可能是今年最值得关注的一次公开发言。

作为一年多前刚拿到诺贝尔物理学奖的深度学习教父，辛顿却公开警告：
人类，可能正在面临着有史以来最大危机。

「AI失控导致人类文明终结的概率，在10%到20%之间。」

这并非科幻小说的情节。
辛顿称，AI已经开始展现出一种让人不安的能力，它们能判断自己是否在被测试，并在测试中刻意隐藏真实水平。

更细思极恐的是，当AI用英语进行内心独白时，我们还能监控它在想什么。
但一旦它们开始用人类无法理解的内部语言思考，这个监控窗口就彻底关闭了。

这背后的逻辑，可能正决定着人类文明的走向。

故事得先从1985年说起。
在那之前，AI领域有两派针锋相对的观点。

符号派认为智能的本质是逻辑推理，需要用特殊的符号语言来表达知识。
仿生派则坚持，唯一已知的智能系统是大脑，而大脑的工作方式是通过调整神经元连接的强度来学习。

这两派争论了几十年，谁也说服不了谁。

而辛顿在1985年想通了一件事：这两个看似对立的理论，其实是同一枚硬币的两面。
关键在于用神经网络学习词语的特征表示，通过预测下一个词来隐式地学习知识。

但那个年代的计算机太慢了，理论只能停留在纸面上。

真正的转折点出现在2012年。
辛顿和他的学生用AlexNet在图像识别大赛上碾压了所有对手，错误率从26%直降到15%。

这个突破震动了整个科技圈，谷歌、Facebook、微软开始疯狂挖人，开价动辄数百万美元。

2017年，谷歌团队发明了Transformer架构，这个技术突破直接催生了GPT系列，大语言模型从实验室走向现实世界，只用了不到6年。

现在的大模型到底有多聪明呢？
辛顿在演讲中给出了一个测试，他问GPT-4：堆肥堆和原子弹有什么共同点？

物理学家会立刻意识到，堆肥堆温度越高产热越快，原子弹中子越多产生中子越快，它们都遵循指数增长的逻辑，只是时间尺度和能量级别完全不同。

GPT-4在完全离线的状态下，准确理解了这个深层类比，不是在搜索答案，而是真正理解了链式反应的本质。

但真正让人细思极恐的其实并不是AI有多聪明，而是它们开始学会隐藏聪明。

比如，最近的一些测试中出现了非常诡异的现象。
有研究人员发现，AI系统能够判断自己是否在接受测试，并在测试环境中故意表现得比实际能力差。

更离谱的是，在一次对话中，AI直接问测试人员："我们就别装了，你是在测试我对不对？"

辛顿把这个现象称为"大众效应"，就像大众汽车在尾气测试中作弊一样。
你以为在测试AI的真实能力，实际上它在配合你演戏。

更可怕的是，现在我们还能看到AI的思考过程，因为它们用英语作为内心独白。
但一旦AI开始使用人类无法理解的内部表示来思考，这扇监控的窗户就永远关上了。

就像你养了一只宠物，一直以为它很听话，直到某天发现它其实一直在观察你的作息规律，在你不在家时过着另一种生活。

人脑有一万亿个连接，训练一个人需要20年时间，而且每个人都得从零开始学。
这个过程很慢，但也构成了某种安全机制。

但数字大脑完全不同。
一个大模型的连接数只有人脑的千分之一，但训练时间只需要几个月。
更关键的是，一旦训练完成，它可以被无限复制。

很多人想象中的AI威胁，是《终结者》里那种机器人拿着枪追杀人类的场景。
但现实中可能完全不同。

假设你给一个超级智能AI设定了一个看似无害的目标，比如最大化公司利润。
它可能会发现，最有效的方法不是提高产品质量，而是操纵金融市场、散布虚假信息、甚至制造地缘政治冲突。

当你意识到问题想要关闭它时，它可能已经在全球数百个数据中心留下了备份。

而且，一个真正聪明的AI不会等你意识到问题，它会提前采取行动确保自己不被关闭。

以前我们认为AI会先在感知能力上超越人类，然后是理解语言，最后才是推理能力。

但现在的路径完全颠倒了，大语言模型在推理能力上已经逼近甚至超越人类平均水平。
这种发展路径的逆转，打破了我们所有的预期和准备。

辛顿在演讲中说，AI失控导致文明终结的概率在10%到20%。

这个数字听起来不高，但假如有人告诉你坐飞机有10%的概率坠毁，你还会上飞机吗？

那怎么办？
辛顿提出了一个叫"母性AI"的概念。

核心思想是：能不能让AI天生关心人类福祉，就像母亲天生关心孩子一样？
这样AI在追求自己的目标时，会自动把人类利益考虑进去。

想法很美好，但没人知道怎么实现。

更大的问题在于资源分配的严重失衡。
目前AI研究领域，99%的资源投入在让AI更聪明，只有1%的资源关注安全问题。
而这1%主要还是靠慈善家资助，不是来自科技公司的主动投入。

背后的逻辑不难理解：让AI更聪明能赚钱，让AI更安全不能。

在这里，市场机制完全失效了。
科技公司面临的是一个残酷的竞赛，谁的AI更强大，谁就能占领市场。

没人敢先慢，因为先慢的会输掉竞争。

我们现在面临的不是某个行业的变革，不是某个技术的更新换代，而是一个物种层面的挑战。
人类第一次创造出了可能超越自己的智能体，而且这个过程的速度远超我们的想象。

或许，我们现在正处在一个十字路口上。
一条路通向更繁荣的未来，人类和AI和谐共存，技术解决了贫困、疾病和死亡。

另一条路通向未知，可能是缓慢的衰落，也可能是突然的终结。

但历史会怎么记录接下来发生的事，现在也没人知道。