#模型时代# 杨立昆：人类智能都不是通用智能，何况大语言模型

有日子没发杨立昆的访谈了，这期他参加AI Inside播客讲得内容蛮多的。当然，他会继续讲现在的AI不如猫，并强调了理解物理世界是AI发展的最大未解决挑战。

不过有一条我以前没怎么注意他这样讲，就是他说人类智能其实是为了生存繁衍而诞生的专用智能，并没有通用性。而且，现在的AI没有触及物理世界。所以，现在的人工智能，沿着人类语言路线，必然也搞不出所谓的“AGI”，他叫“AMI”，先进的机器智能。正因为如此，他也不同意辛顿说的AI很危险，因为才是毛毛雨。

其实，我特别希望杨立昆把这个AMI搞出来……

***
一、LLMs的局限性与AI发展的历史模式
大型语言模型(LLMs)无疑有其用途，特别是作为编程助手和未来的AI助手。然而，LeCun指出了一个反复出现的问题：令人印象深刻的演示与能够可靠部署的系统之间存在巨大差距。他解释道："当谈到实际部署一个足够可靠的系统，让人们能够日常使用时，这是一个很大的差距。使这些系统足够可靠要困难得多。"

LeCun强调，在AI的70年历史中，我们一直看到这种模式：研究人员提出新范式，宣称这将在10年内实现人类水平的AI，但每次预测都被证明是错误的。这些新范式要么遇到人们没有预见到的限制，要么仅擅长解决一小部分问题。"所以一代又一代的AI研究人员、工业家和创始人不断做出这些宣称，但每次都被证明是错误的，"LeCun表示。
他并不否认LLMs的价值，认为它们非常有用，应该有大量投资，特别是运行它们的基础设施。但就像其他计算机技术一样，即使没有达到人类水平的智能，它们也能发挥作用。

二、世界模型：AI研究的未来方向
LeCun在谈话中分享了他对AI研究未来方向的见解，这一观点早在三年前他就已经在一篇长论文中阐述过。即使在全世界了解LLMs之前，他的这一愿景也没有改变。

他强调："我们需要理解物理世界的机器。我们需要能够推理和规划的机器。我们需要具有持久记忆的机器。而且我们需要这些机器是可控和安全的，这意味着它们需要由我们给予的目标驱动。"

这一愿景的核心是"世界模型"的概念。我们人类和动物都在头脑中拥有世界模型，这允许我们预测世界中会发生什么，无论是因为世界本身变化还是因为我们采取行动。如果我们能预测行动的后果，就可以通过设定目标，利用世界模型想象特定行动序列是否能实现目标，从而进行规划。

LeCun将这一过程与心理学中所说的系统2联系起来："这是在心理学中被称为系统2的东西。深思熟虑的，我不想说有意识的，因为这是一个有负担的术语，但深思熟虑的思考过程，基本上是关于如何完成任务。"

三、自监督学习与可预测性挑战
当前的AI研究正在探索通过自监督学习来构建世界模型，这是LLMs背后的基本原理。然而，LeCun指出，将自监督学习应用于视觉和物理世界理解比文本预测要复杂得多。

在文本预测中，我们面对的是有限的词汇表，可以预测下一个词的概率分布。但对于视频预测，问题变得更加复杂："我们不知道如何对所有图像、视频帧或视频片段的集合表示适当的概率分布。这实际上是一个数学上难以处理的问题。"

LeCun的团队提出了一种名为JEPA（联合嵌入预测架构）的新方法来解决这个问题："我们基本上训练一个系统来运行视频的表示，并在那个表示空间中进行预测。这种表示消除了视频中许多不可预测或无法解决的细节。"

令人惊讶的是，这种方法并非生成式的。尽管当前所有人都在谈论生成式AI，LeCun的直觉是："下一代AI系统将基于非生成模型。"

四、AGI时间线与真正的挑战
关于AGI（通用人工智能）的时间线，LeCun持谨慎乐观态度。他确信，未来某个时刻，我们将拥有至少与人类一样聪明的机器。然而，他也批评了AGI这个术语本身的误导性：
"人类智能根本不是通用的。它是极其特殊的。我们是由进化塑造的，只做对生存有价值的任务。我们认为自己拥有通用智能，但我们完全不是通用的。"

LeCun更喜欢Meta内部使用的术语——AMI（高级机器智能），以指代人类水平的智能。他认为这一目标可能在未来10年内以某种程度实现，但历史告诉我们，这通常比人们想象的要困难得多。

关于为什么当前AI距离真正智能还很远，LeCun举例说明："我们有能够回答互联网上有答案的任何问题的系统。我们有能够通过律师考试的系统。我们有能够生成代码的系统。但这些系统误导我们认为它们很聪明，因为我们习惯于聪明的人能够以聪明的方式操纵语言。但我的家用机器人在哪里？我的5级自动驾驶汽车在哪里？能做猫能做的事情的机器人在哪里？"

五、超越语言的AI理性思考
LeCun解释了为什么语言处理能力与真正的智能有本质区别。他指出当前LLMs的"推理"实际上只是一种计算技巧："让LLM在一个复杂问题上花更多时间思考的一种方法是让它经过推理步骤。因此，它会产生更多标记，然后在回答问题时花费更多计算。但这是一个可怕的技巧。这是一个黑客手段。这不是人类推理的方式。"

他认为真正的思考与语言无关："作为人类，我们认为思考与语言有关，但事实并非如此。动物可以思考。不会说话的人可以思考。大多数类型的推理与语言无关。"

LeCun通过一个例子解释了这一点：想象空中漂浮的立方体并旋转它。这种思考过程完全是抽象表示和操作，没有涉及语言。他说："我们有这些抽象的思想表示，然后我们可以通过我们想象采取的虚拟行动来操纵这些表示，就像旋转那个立方体，然后想象结果。这就是使我们能够在现实世界中完成任务的原因。"

此外，人类和动物擅长分层规划，这是当前AI系统难以复制的能力。例如，如果我们计划明天去巴黎，我们不能以肌肉控制的毫秒级规划整个旅程，而是需要进行分层规划："我必须想象，如果我想明天去巴黎，我必须先去机场搭飞机。好的，现在我有一个子目标，去机场。我怎么去机场？"

六、Meta的开源策略
讨论转向Meta的商业策略，特别是开源Llama模型的决定。LeCun解释了这一策略的伦理和商业考量："从纯粹的伦理角度来看，这显然是正确的做法。Llama 2的发布基本上完全启动了AI生态系统，不仅在行业和初创公司，而且在学术界。"

他指出，学术界通常没有资源训练自己的基础模型，因此依赖于开源平台来对AI研究做出贡献。Meta发布这些模型的主要原因之一是促进创新。

从商业角度看，LeCun说："这对三家公司来说是一个破坏者，但对成千上万家公司来说是一个赋能者。"与某些技术公司不同，Meta不直接从AI技术中获取收入，而是通过基于这些技术构建的产品质量来获取广告收入。

LeCun预测，AI基础模型最终将像互联网软件基础设施一样发展："在互联网早期，有Sun Microsystem、Microsoft、HP、IBM等推出自己版本的Unix或Windows NT及其网络服务器。所有这些都被Linux和商品硬件完全淘汰了。"他认为市场将对AI基础模型施加类似压力，使其开放和免费，因为它们是基础设施，就像互联网的基础设施一样。

七、AI助手的未来与文化多样性
讨论了可穿戴设备和智能眼镜，LeCun提出了AI助手未来的愿景。他设想人们将拥有随时随地的AI助手，看到你所看到的，听到你所听到的（如果你允许），并提供帮助，甚至可能比人类助手更好。

"事实上，愿景是你不会只有一个助手。你将拥有一整个智能虚拟助手团队。就像我们每个人都会成为老板一样。"LeCun表示，虽然有些人可能对比我们更聪明的机器感到威胁，但我们应该感到被赋能："作为一名科学家或行业经理，最好的事情是你雇佣比你更聪明的学生、工程师或为你工作的人。这是理想情况。你不应该因此感到威胁。你应该感到被赋能。"

LeCun还强调了AI多样性的重要性："在未来，我们与数字世界的大部分互动将由AI系统调解。如果你是世界上任何地方的公民，你不希望你的信息来源来自美国西海岸或中国的少数几家公司构建的AI助手。你希望有各种各样的AI助手，首先，说你自己的语言，无论是晦涩的方言还是本地语言。其次，理解你的文化、价值体系、偏见，无论它们是什么。"

八、美国科技领导力与移民政策的影响
在谈到教育和技术领导力时，LeCun对美国当前的研究资金削减和外国学生签证限制表示担忧："现在美国发生的一些绝对可怕的事情是研究资金被削减，而且有种种威胁说不会给外国学生发放签证。这将完全摧毁美国的技术领导地位。"

他指出，STEM领域的大多数博士生都是外国人，尤其是在工程学科的研究生层面，外国学生占大多数。此外，许多科技公司的创始人或CEO是在国外出生的。这凸显了移民对美国技术创新的重要贡献。 http://t.cn/A6rEmf1w