苹果最新论文认为推理模型的「思考」只是幻觉。

标题：《思考的幻觉：通过问题复杂性的视角理解推理模型的优势与局限》

核心结论：大型推理模型（LRM）的推理能力存在显著瓶颈，其表现高度依赖问题复杂度，且在复杂任务中可能出现 “思考崩塌” 现象。

苹果发现：（1）在低复杂性任务中，推理模型表现不如非推理模型；（2）在中复杂性任务中，LRM 的额外思考显示出优势；（3）在高复杂性任务中，两种模型都完全崩溃。

一、研究背景：什么是大型推理模型（LRMs）？

LRMs 是专门为推理任务设计的大语言模型（如 OpenAI 的 o1/o3、Claude 3.7 Sonnet Thinking 等），它们通过生成详细的 “思维链”（Chain of Thought, CoT）来模拟人类的推理过程，声称能解决复杂问题。

现有问题：以往研究主要用数学题等传统基准测试 LRMs，但存在两个缺陷：

- 数据污染：模型可能在训练中见过类似题目，无法真实反映推理能力。
- 只看结果：忽略了模型 “思考过程” 的质量，比如中间步骤是否逻辑连贯。

二、研究方法：用可控谜题测试推理过程

为什么用谜题？

作者设计了 4 类可控复杂度的谜题（如汉诺塔、跳棋、过河问题、积木堆叠），这些谜题有明确规则，且复杂度可通过调整参数（如圆盘数量、棋子数量）精确控制。

如何分析？

对比 LRMs 与普通大模型（LLMs，如 Claude 3.7 Sonnet 非思考版本）的表现，不仅看最终答案是否正确，还分析中间思考痕迹（如是否过早陷入错误路径、是否重复无效尝试）。

三、核心发现：推理能力的 “三重境界”

1. 简单任务：不思考的模型反而更好

现象：当问题较简单时（如 3 个圆盘的汉诺塔），普通 LLMs 比 LRMs 更准确、更高效。

原因：LRMs 可能 “过度思考”，浪费计算资源在无关路径上，而 LLMs 直接通过模式匹配快速得出正确答案。

2. 中等任务：思考带来优势

现象：问题复杂度中等时（如 5-7 个圆盘的汉诺塔），LRMs 的思维链帮助其逐步排除错误，准确率超过 LLMs。

原因：需要分步骤规划的任务中，显式的思考过程能系统性解决问题。

3. 复杂任务：所有模型都 “崩塌”

当问题超过一定复杂度（如 8 个以上圆盘的汉诺塔），LRMs 和 LLMs 的准确率均骤降至零，且 LRMs 出现 “反直觉行为”：

- 思考 effort 先增后减：初期随复杂度增加思考量，但接近崩塌点时，即使还有计算资源，思考量反而减少。
- 无法执行明确算法：即使给汉诺塔的递归算法伪代码，LRMs 仍会在相同复杂度下失败，表明其逻辑执行能力存在根本缺陷。

四、深入思考：LRMs 的 “思考” 到底哪里出了问题？

1. 过度思考与低效探索

在简单问题中，LRMs 早早找到正确解后，仍会继续生成无效的错误尝试，浪费计算资源，称为 “过度思考” 现象。

2. 复杂问题中的 “逻辑断层”

LRMs 无法应对长链依赖（如超过 100 步的推理），表现出 “记忆崩塌”：中间步骤的错误会导致后续推理完全偏离，且无法自我纠正。

对比人类：人类可通过递归或分阶段规划解决复杂问题，而 LRMs 依赖连续的上下文，缺乏层次化推理能力。

3. 数据依赖与泛化缺陷

在 “过河问题” 中，LRMs 对训练中少见的高复杂度场景（如 3 对以上角色）完全失败，而汉诺塔因训练数据较多，表现相对较好。

说明 LRMs的推理能力高度依赖训练数据分布，而非真正的算法理解。

五、对 AI 发展的启示

现有 LRMs 的定位：在中等复杂度、数据充足的任务中有用，但无法应对真正的通用推理（如数学证明、科学发现）。

未来挑战：
- 需要突破 “上下文长度限制” 与 “层次化推理” 的技术瓶颈。
- 避免过度依赖 “思维链” 的表面形式，需增强符号操作与逻辑验证能力。

警示：盲目追求模型规模和 “思考” 深度可能无法解决根本缺陷，需重新设计推理架构。

总结：LRMs 的 “思考” 是幻觉吗？

论文标题 “The Illusion of Thinking” 暗示：LRMs 的思维链可能只是 “模仿人类推理的幻觉”。

优势：在有限范围内（如标准化测试、流程化任务）可辅助决策。

本质局限：缺乏人类的抽象理解与跨领域泛化能力，复杂场景下的失败暴露了其 “伪推理” 本质。

链接：ml-site.cdn-apple.com/papers/the-illusion-of-thinking.pdf