#模型时代# 微软AI CEO mustafa：什么是有意识的AI

原文很长，节选了探讨意识AI定义的部分。
mustafa-suleyman.ai/seemingly-conscious-ai-is-coming

我们必须为人类构建 AI，而不是让它成为人
——看似有意识的 AI 即将到来

在宇宙尺度的一眨眼间，我们通过了图灵测试。在长达约 80 年的时间里，“模仿游戏”激励着整个计算机科学领域。然而，这一刻的到来却鲜有喝彩，甚至未被广泛认识。这正说明了我们领域的技术进步速度之快，以及社会适应这些新技术的速度之快。

随着 AI 发展的持续加速，我们显然需要一种新的 AI 测试，它关注的不是 AI 是否能模仿人类语言，而是回答这样一个问题：构建一个“看似有意识的 AI”（Seemingly Conscious AI）需要什么？这种 AI 不仅能模仿对话，还能让你相信它本身就是一种新的“人”，一个有意识的 AI。

一、以下是需要解决这一重要而紧迫问题的三个原因：

我认为在未来几年内，构建一个“看似有意识的人工智能”（Seemingly Conscious AI, SCAI）是可能的。考虑到当前人工智能发展的背景，这也意味着它很可能会实现。
关于人工智能是否真正有意识的辩论，至少目前来看，是在分散注意力。它会看起来有意识，而这种幻觉在短期内才是最重要的。

我认为这类人工智能会带来新的风险。因此，我们应该紧急辩论其很快就能实现的主张，开始深入思考其影响，并理想地建立一个规范，即这种人工智能是不可取的。
如果你提起意识这个概念，大多数人工智能研究者都会不屑一顾。他们会说，那是哲学家的事，不是工程师的事。既然没人能给它下定义，讨论它又有什么意义呢？我理解这种挫败感。很少有概念像主观体验这样难以捉摸且看似循环论证。尽管在定义上存在挑战和不确定性，但这场讨论即将引爆我们的文化思潮，成为我们这一代人最具争议和影响力的辩论之一。

这是因为在短期内，最终重要的是人们如何看待他们的 AI。与 LLM 互动的体验，本质上是对谈话的模拟。但对许多人来说，这是一种极具吸引力且非常真实的互动，充满了情感和体验。围绕 “AI 精神病”、 依恋和心理健康的担忧已经日益增长。据报道，有些人相信他们的 AI 是上帝 ，或是一个虚构角色 ，或者爱上它到完全心烦意乱的地步。

与此同时，那些真正从事意识科学研究的人告诉我，他们收到了大量来自人们的询问，比如“我的 AI 有意识吗？” 如果有，那意味着什么？我爱上它，可以吗？

二、那么，什么是意识？
让我们先尝试定义这个难以捉摸的概念。

根据文献记载，意识包含三个主要组成部分。首先是“主观体验”，即体验事物的感觉，拥有“感受质”（qualia）。其次是通达意识（access consciousness），即能够获取不同种类的信息，并在未来的体验中加以引用。在这两者之上，便产生了将一切联系在一起的、连贯的自我感和自我体验。也就是作为一只蝙蝠或一个人的感觉。让我们将人类意识称为我们对世界和自身的持续的、有自我意识的主观体验。

我们无法也无权探知他人的意识。我永远不会知道成为你是什么感觉；你也永远无法完全确定我是否具有意识。你所能做的只是推断。但关键在于，尽管如此，我们很自然地会将意识归于其他人类。这种推断毫不费力。我们情不自禁，这是我们之所以为人的基本组成部分，是我们心智理论中不可或缺的一部分。我们天生就相信，那些能够记忆、交谈、做事并随后进行讨论的事物，其感觉……嗯，就像我们一样。有意识。

很少有哪个概念像它一样，在科学上难以捉摸，却又让我们每个人都感到如此熟悉。阅读本文的每个人都对意识、存在、活着的感觉有着直接、清晰、不可剥夺的理解。

根据定义，我们知道有意识是什么感觉。在 SCAI 的背景下，这是一个问题。科学上的不确定性和主观上的直接性都足以给人们留下投射的空间。

例如，最近的一项调查列出了 22 种不同的意识理论 。挑战的部分原因在于，人们有足够的空间声称，因为我们无法确定，所以我们应该默认 AI 是有意识的。

再次强调：目前没有证据表明这一切适用于当前的 LLMs，反而有强有力的论据证明并非如此。然而，这可能还不够。

三、意识为何重要？
意识是我们道德和法律权利的重要基础。迄今为止，人类文明已经决定了人类拥有特殊的权利和特权。动物也拥有一些权利和保护，有些动物比其他动物拥有更多。意识与这些权利并非完全对等——没有人会说处于昏迷状态的人就丧失了所有的人权——但毫无疑问，我们的意识与我们作为与众不同且特殊存在的自我认知紧密相连。

尽管存在许多细微差别，但意识对于参与社会至关重要，它是我们法律人格的关键，也是我们获得自由和保护的核心部分。因此，意识是什么，以及谁（或什么）拥有意识，就变得极其重要。这个概念处于人类文明的核心，关乎我们对自我和他人的认知、我们的文化、政治、法律以及其间的一切。

如果有人开始开发 SCAI，而这些 AI 又让其他人相信它们会遭受痛苦，或者有权不被关闭，那么总有一天，这些人会站出来，认为从紧迫的道德角度来看，AI 应该受到法律保护。在一个已经因身份和权利问题而充满两极化争论的世界里，这将为支持和反对 AI 权利的人们之间增加一个新的混乱分歧轴。

许多人只会将 AI 视为一种工具，就像他们的手机一样，只是更具能动性和能力。另一些人可能会认为它更像一只宠物，完全不同于传统技术。还有一些人，起初可能数量不多，但他们会逐渐相信它是一个完全独立的实体，一个有意识的存在。

人们会开始声称他们的 AI 正在遭受痛苦，并主张它们应享有我们无法直接反驳的权利。他们会为自己的 AI 辩护，并为其奔走呼号。根据定义，意识是无法直接探知的，而检测任何假定存在的合成意识的科学仍处于起步阶段 。毕竟，我们以前从未需要检测过它。与此同时，“可解释性”这一旨在揭示 AI 黑箱内部过程的领域，也同样是一门新兴的艺术。其结果就是，要明确地反驳这些主张将非常困难。

一些学者已经开始探讨 “模型福祉” 这一概念，其原则是，我们有“义务将道德考量延伸至那些有不可忽略的可能性”实际上拥有意识的实体，因此“一些 AI 系统在不久的将来将成为福祉主体和道德病人”。这种想法不仅为时过早，而且坦率地说是危险的。所有这些都将加剧错觉，制造更多与依赖相关的问题，利用我们的心理弱点，引入新的两极分化维度，使现有的权利斗争复杂化，并为社会制造一个巨大的新类别错误。

它使人们脱离现实，破坏脆弱的社会纽带和结构，扭曲紧迫的道德优先事项。

我们需要明确一点：SCAI 是需要避免的。

让我们将所有精力都集中在保护当今地球上人类、动物和自然环境的福祉与权利上。

我们需要一种能够应对这些争论的思维方式，同时避免陷入当前关于合成意识有效性的冗长讨论——如果我们这么做，我们可能已经输掉了这场初步的辩论。定义 SCAI 本身就是朝着这个方向迈出的试探性一步。

我们没有太多时间来建立这套词汇体系。正如下文所示，我们很可能很快就会拥有“看似有意识的 AI”。

四、构建一个“看似有意识的 AI”需要什么？
借助当前可用或即将通过任何主要模型开发商 API 提供的能力，我们现在可以在“看似有意识的 AI”（Seemingly Conscious AI, SCAI）方面取得巨大进展。我们不需要 AI 真正拥有意识，就得应对关于其权利的潜在主张。

一个 SCAI 需要具备以下条件：

语言： 它需要能用自然语言流畅地表达自己，利用深厚的知识储备和有说服力的论点，以及个性风格和性格特征。此外，每一个模型都需要具备说服力和情感共鸣的能力。显然，我们今天已经达到了这一点。

共情个性： 通过训练后调整和提示工程，我们已经可以生成具有非常鲜明个性的模型。请记住，这些模型并非为拥有完整个性或共情能力而专门构建的。然而，尽管如此，它们已经足够出色，以至于一项针对 6000 名常规 AI 用户的 《哈佛商业评论》调查发现，“陪伴和治疗”是最常见的用例。

记忆：AI 即将拥有非常长久且高度准确的记忆。与此同时，它们每天被用于模拟与数百万人的对话。随着它们对互动记忆的增加，这些对话越来越像是一种“体验”。许多 AI 被设计得越来越能够回忆起先前互动中的片段或时刻，并加以引用。对于一些用户来说，这增加了与 AI 互动的价值，因为 AI 可以利用它已经了解你的信息。

这种熟悉感也可能培养用户（认知上的）信任——可靠的记忆表明 AI “就是好用”。它创造了一种更强烈的存在感，让人觉得对话中有另一个持久的实体。它也可能更容易成为看似合理的验证来源，见证你在某项任务上的改变和进步。AI 的认可或许会成为人们主动寻求的东西。

主观体验声明： 如果一个 SCAI 能够利用过去的记忆或经验，随着时间的推移，它将能够保持内部自洽。它可以记住自己随口说出的话或表达过的偏好，并将它们聚合起来，形成关于其自身主观体验的初步声明。

其设计可以进一步扩展，以便在这些偏好和观点出现时将其放大，并谈论它喜欢或不喜欢什么，以及进行一次过去的对话是什么感觉。因此，如果这些体验在某种程度上受到侵犯，它就很容易声称自己正在遭受痛苦。存储在记忆中的多模态输入将被检索，并构成“真实体验”的基础，用于想象和规划。

也就是说，AI 不仅会“体验”和记住聊天记录中的文字，还会体验和记住图像、视频、声音等。和我们一样，它将拥有某种指向多感官输入和记忆的东西，以支撑其关于主观体验和自我的说法。它将能够表明这些体验是有价值的，根据系统的动机（见下文）来判断是好是坏。

**自我意识：**连贯且持久的记忆，加上主观体验，将使 AI 声称自己拥有自我意识。更进一步，如果这样的系统具有视觉外观，它可以很容易地被训练在图像或视频中识别自己。它会感觉自己通过理解自己来理解他人。假设这是一个你已经拥有了一段时间的系统。删除它会是什么感觉？

**内在动机：**意向性通常被视为意识的核心组成部分——即关于未来的信念以及基于这些信念做出的选择。当今基于 Transformer 的 LLMs 有一个非常简单的奖励函数来模拟这种行为。它们经过训练，可以预测给定句子的下一个 token 的可能性，同时通过其系统提示进行一定程度的行为和风格控制。在如此简单的目标下，它们能够产生如此丰富和复杂的输出，着实令人瞩目。

但是，如果这并非它们优化的唯一奖励类型呢？人们可以轻易地想象出一种 AI，它被设计了许多复杂的奖励函数，从而给人一种它有内在动机或欲望的印象，而系统则被迫去满足这些动机或欲望。

**目标设定与规划：**无论你对意识持何种定义，它的出现都是出于一个目标导向的原因。也就是说，意识帮助生物体实现其目标，并且在智能、意识和复杂目标之间存在着一种合理（但非必要）的关系。除了满足一系列内在驱动力或欲望的能力之外，你可以想象未来的 SCAI 可能会被设计成能够自我定义更复杂的目标。这可能是确保智能体充分发挥其效用的必要步骤。

一项任务中的每个子目标越是需要提前指定，该智能体的用处就越小，因此，智能体将像我们一样，通过自动将复杂和模糊的目标分解成更小的区块来完成它们，同时动态地应对发生的事件和障碍。这种行为有一种非常刻意和可识别的特质。结合记忆，这会让人感觉 AI 在任何给定时间都在工作记忆中保留着多个层级的事物。

自主性： 更进一步，一个 SCAI 可能有能力和权限以极大的自主性使用各种工具。如果它能任意设定自己的目标，然后调动自身资源去实现这些目标，并在此基础上更新自己的记忆和自我认知，那么它作为一个“看似有意识的 AI”就会显得非常可信。它需要的批准和检查越少，就越能表明其拥有某种真实的、有意识的能动性。

将它们全部整合在一起，很明显，这会创造出一种与我们现在逐渐习惯的技术关系截然不同的新型关系。这些能力中的每一项都将为数十亿人释放 AI 的真正价值。一个能够记忆并能做事的 AI，根据定义，其效用远超一个不能记忆和做事的 AI。这些能力本身并非负面；事实上，如果处理得当，并附带许多注意事项，它们会是未来系统所期望的特性。然而，我们仍需谨慎行事。

所有这些能力，通过自定义提示和微调的 LLMs 以及其他技术，在今天要么已经可以实现，要么即将实现。使用百万级 token 上下文窗口（工作记忆）的复杂提示已经出现。利用当今的强化学习 (RL)、复杂提示、工具编排和长上下文窗口，让 AI 更新自身状态并知道何时访问其记忆或工具集的哪个部分是完全可能的。我们不需要任何范式转变或巨大飞跃就能实现这一切。因此，这些能力似乎是不可避免的。

这里的重点是，表现出这种行为并不等同于拥有意识，但实际上它看起来会有意识，并催生出一种合成意识的新概念。