#人工智能时代# #ai# 《汪亚民：陶哲轩指出的AI致命缺陷如何克服》
陶哲轩指出的AI致命缺陷如何克服
文／盘古智库 高级研究员 汪亚民
引言
如果把这一轮AI浪潮看作一场工业革命，那我们大多数人，其实还停留在“看热闹”的阶段——惊叹它写代码有多快、写文章有多顺、对话有多像人。
但真正站在一线的人，已经开始问另一个问题：
这东西，靠不靠谱？
陶哲轩Terence Tao之所以重要，不只是因为他聪明，而是因为他习惯把问题追到最底层。他没有讨论“AI会不会超越人类”，而是问了一个更工程化、也更现实的问题：＂我们该如何使用一个强大、却本质上不可靠的工具？＂。
这句话听起来像是在泼冷水，但其实更像是在给AI“定性”。
只有先承认它“不可靠”，后面的所有改进才有方向。
一、陶哲轩其人，以及这个“致命缺陷”到底指什么？
陶哲轩（Terence Chi-Shen Tao），1975年7月17日出生于澳大利亚阿德莱德，华裔数学家，菲尔茨奖获得者、英国皇家学会院士、美国国家科学院外籍院士、美国艺术与科学学院院士 ，美国加州大学洛杉矶分校James and Carol Collins讲席教授，普林斯顿大学博士。
陶哲轩13岁获得国际数学奥林匹克竞赛数学金牌。16岁获得弗林德斯大学学士学位。17岁获得弗林德斯大学硕士学位。21岁获得普林斯顿大学博士学位 。24岁起在加利福尼亚大学洛杉矶分校担任教授 。2006年31岁时获得菲尔茨奖、拉马努金奖和麦克阿瑟天才奖。2008年获得艾伦·沃特曼奖。
2009年12月作为第二届“丘成桐中学数学奖”的评审总决赛的面试主考官来到中国。2015年获得科学突破奖—数学突破奖。2022年，推翻了周期性平铺猜想。2023年5月13日，他和物理学家劳拉·格林（Laura Greene）共同领导美国总统科技顾问委员会（PCAST）生成式人工智能工作组 [32]。2024年11月，陶哲轩联手60多位数学家出题推出数学基准FrontierMath。
陶哲轩Terence Tao被公认为当代最顶尖的数学家之一，研究横跨调和分析、偏微分方程、数论等多个领域。他不仅在纯数学领域拥有极高建树，也持续关注AI对科学研究与人类认知的影响。
陶哲轩说：“我们该如何使用一个强大、却极度不可靠的工具？” AI的核心方程写得清清楚楚： W = ∑(wᵢ ⋅ xᵢ) + b 它不是在追求“正确”， 而是在追求“看起来正确”。 所有权重都被优化成plausibility（似是而非），而不是veracity（真实性）。 于是我们造出了一个超级会“装”的镜子： 它在医学、金融、法律等领域，能用最自信、最流畅的语气， 给你最危险、最错误的建议。 “Convincing”和“Correct”之间的鸿沟， 才是AI时代最致命的风险。 我们越是依赖它，它就越容易把我们带进自己都看不出来的陷阱。 当最顶尖的数学家都在认真讨论“如何安全使用不可靠的AI”时， 我们普通人还在为“它写代码好快”鼓掌吗？
他提出的关键问题可以概括为一句话：“我们如何使用一个强大却不可靠的工具？”
这句话背后隐藏的，是对AI本质的精准洞察。
现代AI（尤其是大语言模型）在底层上，是通过概率来预测最可能的输出。它的目标函数并不是“是否真实”，而是：“在已有数据中，这样说最像人类。”
于是问题出现了。
它可以生成逻辑严密却基于错误前提的推理
它可以引用不存在的论文或数据
它可以在完全不确定时依然给出肯定语气
这种现象在技术上被称为“幻觉”（hallucination），但本质不是偶发错误，而是机制内生的结果。
换句话说：AI不是一个“会犯错的真理机器”，而是一个“默认不保证真理的表达机器”。
这就是所谓的“致命缺陷”。
Terence Tao的训练背景决定了他的视角：数学家不相信“差不多对”，只接受“可以证明对”。
而大语言模型恰恰相反——它不是在证明，而是在“拟合”。
可以用一个工程类比来理解：
传统软件像计算器，输入2+2，输出一定是4；
而语言模型更像一个“极端训练过的语言演员”，它的任务是——在给定上下文中，说出最像人类会说的话。
问题就出在这里。最像人说的话”和“最符合事实的话”，在大多数时候重合，但在关键场景下会分裂。
一旦分裂，AI不会主动告诉你“我可能错了”，它反而会用更流畅的表达掩盖不确定性。
这就是所谓的“幻觉”。但如果你把它当成偶发bug，就低估了问题的严重性。更准确的说法是：幻觉不是异常，而是默认行为在缺乏约束时的自然结果。
从工程角度看，这个“致命缺陷”其实可以表述为：
模型优化的是概率分布的匹配，
用户需要的是客观世界的真实性，
两者之间没有天然的桥梁。

二、这个缺陷为什么重要：它改变了AI问题的性质
在很多技术发展早期，问题都是“能不能做到”。
但AI已经跨过了这一步，现在的问题变成了“做到的东西能不能信”。
这听起来像语义游戏，但在现实里是分水岭。
举个很具体的例子：
写一段代码，错了不可以跑，需要承担责任。
做一次医疗建议，错了可能就是事故，那可要承担后果。
当AI进入这些“高后果领域”时，错误不再是技术问题，而是系统风险。
陶哲轩Terence Tao的提醒，本质上是在把AI从“能力竞赛”拉回“可靠性工程”。
这会带来几个直接变化：
首先，评价标准变了。
过去我们看“通过率”“准确率”，未来更重要的是：错误出现时是否可察，不确定性是否被表达，输出是否可以被验证。
其次，架构思路变了。
不再指望一个“万能模型”，而是开始构建组合系统：模型负责生成，系统负责约束，外部世界负责校验。
最后，人的角色变了。
人不再是被替代的对象，而是系统中的“最后一道保险”。
三、从“不可靠”到“可用”：工程上是怎么补这个洞的
如果你和一线做AI系统的人沟通，你会发现一个很有意思的变化：
大家不再讨论“模型多大”，而是在讨论“怎么防它胡说”。解决路径不是一个点，而是一整套“安全带”。
1. 给模型接上“现实世界”——检索与数据接口
最直接的办法，是让模型少“编”。现在很多系统都会在回答前做一件事：先去数据库、文档库、甚至上互联网实时检索相关信息，再基于这些材料生成。
这听起来简单，但意义很大——
它把AI从“闭门造车”变成“带资料说话”。
结果是：
虽然幻觉不会消失，但会明显收敛在“找不到资料”的边界内。
2. 把关键步骤外包给“不会胡说的系统”
有些事情，语言模型天生不擅长，比如：
精确计算
严格逻辑推
形式化证明
工程上的做法很直接：让它别做。
例如：
需要算数 → 调用计算引擎
需要验证 → 跑代码
需要严谨证明 → 接形式化系统
模型只负责“组织问题”，真正的结果由“确定性系统”给出。
这一步，本质是在给AI装“刹车”。
3. 引入“互相不信任”的结构
一个值得关注的趋势是：系统开始故意让AI“互相挑错”。比如：
一个模型负责生成答案
另一个模型专门找漏
第三个模型判断谁更合理
这有点像科学研究里的同行评议机制。
它不能保证完全正确，但能显著降低“低级错误直接通过”的概率。
4. 让“不确定性”变成一等公民
过去的AI有一个很糟糕的习惯：不知道也要说。
现在越来越多系统在尝试反过来训练它：
给出置信度，
标注信息来，
明确哪些是推测。
这听起来不炫技，但非常关键。
因为一旦用户知道“这里可能不准”，风险就已经下降了一半。
5. 调整训练目标，但承认它的边界
通过人类反馈、规则约束等方法，可以让模型更倾向于：
谨慎表达，
避免编造，
承认未知。
但需要清醒一点：
这不是根治，只是“行为修正”。
底层机制没有变，它仍然是一个概率模型。所以工程上才需要前面那些“外部结构”。
四、普通人怎么用，才不会被它带偏
说到底，再好的系统也挡不住“错误使用方式”。
很多AI事故，本质上不是AI太差，而是人把它用错了位置。
有几个经验，是一线从业者几乎形成共识的。
首先，不要把它当“结论机器”，而要当“思路生成器”。让它帮你列可能性、补信息，但最后那一刀，自己下。其次，对“特别顺的答案”保持警惕。越是流畅、越是自信，越需要多看一眼依据。
再者，在重要问题上养成一个习惯：至少验证一次。
哪怕只是：换一个模型问一遍，查一个原始来源
，看是否有明确出处。成本不高，但能挡住大多数坑。
还有一点很现实：AI很擅长把“半对的东西说得像全对”。所以你需要建立一种直觉——当一个答案听起来“刚刚好满足你的预期”时，反而要小心。
结论
陶哲轩Terence Tao提出的“致命缺陷”，并不是对AI的否定，而是一种“校准”。
它提醒我们：AI的问题，不在于它不够聪明，而在于它的“聪明”不等于“真实”。这件事一旦看清，很多争论其实就消失了。
人们不需要一个完美无误的AI——那在可预见的未来也不现实。
人们真正需要的，是一个：
知道自己可能出错， 能被外部系统约束， 可以被人类验证的工具体系。
换句话说，AI的终局，不是“取代人”，而是进入一个更复杂的分工结构。
而在这个结构里，人类真正稀缺的能力，不是写得更快、算得更强， 而是——在一堆看起来都很对的话里，识别出哪一句值得相信。这一段看起来逻辑清晰流畅的叙事里发现其认知错误而不被虚假叙事或错误叙事所迷惑。
AI时代AI不是替代人类，而是替代人类的基础性工作，判断能力、组织能力、决策能力不可替代！AI是人类助手的角色不会改变！
#文化微议# #财经之星# #新浪财经头# #数学# #科学# @微博智搜 @微博热搜 @微博财经 @财经大V频道
http://t.cn/AXJkQMjo