强化学习之父、图灵奖得主‌ Rich Sutton 为 SAIR AI 科学研讨会录制了一篇视频演讲，解释了为什么通过监督学习训练出的生成式 AI，不可能拥有与人类相同的科学创新能力。

以下是演讲原文：

我想从一个老笑话开始，你们肯定听过。

有位研究员的工作接受了评估，评审意见一针见血地指出：“这项工作既新颖又优秀。只可惜，优秀的部分不新颖，新颖的部分不优秀。”

关于 AI，我的第一个观点是：这个笑话完美概括了当今绝大部分 AI 技术的现状。

它几乎涵盖了我们常说的所有生成式 AI，包括大语言模型、图像与视频模型，甚至那些学习世界模型的新方法。

这些 AI 吸收海量样本，进而生成一个行为模式与样本相似的模型。

也就是说，它能像人一样写字，像艺术家或大自然一样作画，或者生成网上常见的视频。

别误会，生成式 AI 非常有用，这毋庸置疑。但笑话中的评价依然适用：这些系统能产出新颖的结果，也能产出优秀的结果，但无法同时做到这两点。

幻觉与随机性

在许多方面，这绝对不是什么问题。当我们要求 AI 从互联网上寻找答案，或者总结一份文档时，我们并不希望它是新颖的。

如果答案的质量（即优秀之处）源于参考素材，也就是源于撰写该文档或互联网文章的人类，我们会感到很满意。

如果 AI 的回答很新颖，意味着它超出了原始素材的范畴，添加了额外的内容。

这就是所谓的幻觉。多数时候，我们并不希望 AI 凭空捏造出什么新意。

当然也有例外：当我们不追求事实与真相，只想要虚构与娱乐内容的时候。比如让 AI 给孩子编个睡前故事，或者画一张既基于网上现有素材、又与它们截然不同的图。

在这种时候，我们很难判断 AI 到底发挥了多少真正的创造力，因为我们根本不知道它生成的故事、诗歌或图片，与它的训练素材到底有多像。

在现实中，我们永远无法查证，因为互联网太大了，AI 借用的素材库浩如烟海。

当我们索要虚构或新奇的内容时，AI 确实能给，因为它的处理过程带有一定的随机性。它的每一步决策都有多种可能，每次都会走向不同的岔路，留下不同的轨迹。

这条轨迹可以是随机的（因此新颖），也可以是贴合训练数据的（因此优秀，毕竟数据源自人类和现实，本身足够好）。所以，这条轨迹要么新颖，要么优秀，它要么靠随机，要么靠数据，但绝不可能同时兼顾。

说实话，哪怕生成式 AI 永远无法同时做到既新颖又优秀，我也觉得没关系。

对笑话里的研究员来说，这句评价是毁灭性的，但对大多数事物而言并非如此。生成式 AI 的定位就是模仿，这正是监督学习的意义所在。

只要它比被模仿的对象更快、更便宜、更轻量、更易定制或更容易复制，哪怕只是模仿，也能派上大用场。

不能兼顾新颖与优秀，无伤大雅，它依然是一项颠覆性的技术。

何为真正发现

但这终究是个局限。别忘了，我们在此探讨的是如何将 AI 应用于科学与数学。在这些领域，笑话里那位评审员的评价无疑是毁灭性的。

科学与数学需要真正的创造与发现，生成式 AI，或者更准确地说模仿式 AI，永远无法帮我们实现这个目标。

为此，我们需要更进一步的能力。

事实上，在 AI 的其他分支中，我们已经拥有了能提供更多价值的系统。

我们有 AlphaGo 改变世界的第 37 手，有 AlphaZero 惊艳的原创棋风，有在模拟赛车中碾压人类的 GT-Sophy，有为科学、数学和编程带来实质突破的 AlphaFold、AlphaProof 和 Claude-Code，还有在网约车业务中优化司乘分配的 RL-Lyft。

所有这些系统，都找到了既新颖又优秀的结果。而且说实话，部分语言模型也已通过各种方式得到了强化，不再是单纯基于监督学习的生成式 AI。

上述系统都具备某种额外的特性，从而具备了真正的创造力与发现能力。

我们必须认清这种特性到底是什么，并且要意识到，它并不存在于那些寻常的生成式 AI 中。它不可能单靠监督学习获得，也不可能光靠模仿示例学来。

那它究竟是什么？

其实非常简单，甚至可以说是一种常识。它并不新鲜，我们给它起过很多名字，可惜都不怎么贴切。我姑且称之为发现。

从根本上说，发现就是大量尝试，看看哪个管用，然后把最好的留下来。

自然选择主导的进化是这么运作的，科学方法是这么运作的，甚至我们普通的日常生活与学习也是如此。

我们不断尝试，然后记住管用的方法。还有比这更显而易见的吗？

在行为学层面，心理学给了它两个名词，即工具性学习和操作性条件反射，而在机器学习领域，这就是我们常说的强化学习。

在规划系统与组合搜索中，也就是任何涉及生成与测试的领域，我们同样能看到发现的影子。发现的本质在于结合以下三个步骤：

1. 变异

2. 评估

3. 选择性保留

当然，我不是第一个提出这个观点的人。我并非第一个指出这三步的结合是科学、自然选择以及动物行为之关键的人。我尤其要提及 Donald Campbell、Daniel Dennett 和 Gary Cziko 等人的论文。

我这番话的新意在于，将发现的概念与现代 AI 直接挂钩，借此帮大家看清：监督学习或生成式 AI 中并不存在发现。

具体而言，反向传播或梯度下降算法里，根本没有发现的机制。

评估与变异

让我们把话说透：生成式 AI 到底缺了什么？

如前所述，这些系统确实带有随机性，能生成五花八门的轨迹与行为。它们真正缺的，是评估。

生成器靠监督学习完成预训练，这就意味着在实际运行时，它根本无法评估自己生成了什么。

没有评估，自然无法选择性保留，也就谈不上发现。

变异固然能带来新奇，但没有评估就没有发现，甚至可以说，没有创造力。也就是说，创造的前提是对新事物进行评估。没有评估，不保留最优解，就创造不出任何东西。

新意或许会如火花般闪现，但若价值未被识别，便只会转瞬即灭。很多时候，是由人类来完成评估，进而促成发现的。

就像我们让生成式 AI 批量出图，然后从中挑出最喜欢的一张。正是人类+AI 的组合，共同完成了这次发现。

而在许多其他情况下，评估则源自一个明确的目标。比如某些棋步能导致将死，某些推导步骤能完成数学证明，某些动作能获得高额奖励，某些基因型能繁衍出更多副本，某些理论能更好地解释数据。

有人倾向于把变异这一步称为盲目变异。这里的盲目是指缺乏预先的已知信息，如同暗中摸索。它倒不必完全两眼一抹黑，一位优秀的科学家绝不会漫无目的地随机挑选理论来测试。但它同样不能是完全已知、确定无疑的。

要想有所发现，答案藏在哪里就必须存在一定的不确定性。

在实践中，变异往往一半靠已知信息，一半靠盲目探索，但正是那盲目的部分，才真正对应着发现。

通向自主发现

现在，让我们直接看看现代深度学习，特别是反向传播算法。

乍看之下，反向传播似乎做不出发现，因为它是确定性的，产生不了变异。但这并不对。反向传播的权重更新是确定性的，但在最开始，权重会被初始化为微小的随机值。

这种随机初始化常被低估，但它实际上是一种不可或缺的变异，只有这步做对，模型性能才会好。

在反向传播中，这种变异只在网络初始化时发生一次，因此作用是暂时的，随后网络可能会逐渐丧失学习能力。这正是深度学习的软肋。

几年前，我的团队在《自然》杂志上发表了一项新算法，恰好缓解了这个问题。

我们提出的持续反向传播只做了一个微小改动：每隔一段时间，就把一个不常用的神经元重新初始化为微小的随机权重。这让变异得以持续，也保住了神经网络的可塑性。

关于创造力与发现，还有很多可聊的，但核心在于：它们不止于监督学习，不止于模式识别，不止于预测，也不止于世界建模。这些技术固然重要，但单靠它们无法带来发现。

发现需要评估，这种评估要么来自人类，要么来自明确的目标。并且，只有在后一种情况下，我们才能实现完全的自主。

这就是我的倡议。如果我们想彻底释放 AI 科学家的全部潜能，就应该与它们共享目标，让它们去创造、去评估、去发现，从而全面参与到目标的实现中。

大胆一点吧！让我们把创造与发现彻底自动化！ http://t.cn/AXXA9RxF