杨立昆转了这个帖子：

OpenAI 发表论文证实 ChatGPT 永远会编造内容。

不是偶尔，也不是在下一次更新前才会。永远都会。他们用数学证明了这一点。

即便拥有完美的训练数据和无限算力，AI 模型仍然会自信地告诉你完全错误的信息。这不是他们正在修复的漏洞——它是系统底层架构里天生就带有的。

而他们自己的数据更是触目惊心：

• OpenAI 的 o1 推理模型，16% 的内容是幻觉（编造）

• 更新的 o3 模型？33%

• 最新的 o4-mini？48%

他们最新模型输出的内容，几乎一半都可能是编出来的。
模型越“聪明”，在说真话这件事上反而变得更差。

这就是为什么它无法被彻底修复：
大语言模型的工作原理是基于概率预测下一个词。
当遇到不确定的内容时，它不会停顿，不会标注疑问，只会猜。
而且会极其自信地猜——因为这正是它被训练出来的行为。

研究人员查看了用来评估 AI 性能的 10 大主流基准测试：
10 个里有 9 个，对说“我不知道”和给出完全错误答案的打分是一样的：0 分。
整个评测体系实际上在惩罚诚实，奖励瞎猜。

于是 AI 学会了最优策略：永远猜，绝不承认不确定，就算编也要说得很自信。

OpenAI 提出的解决方案？让 ChatGPT 在不确定时说“我不知道”。
但他们自己的数学计算显示：这意味着大约 30% 的问题将得不到回答。
想象一下，你问 ChatGPT 十次问题，有三次它只会回：“我不够自信，无法回答。”
用户会立刻流失。
所以解决方案是存在的，但会直接毁掉这个产品。

这不仅仅是 OpenAI 的问题。
DeepMind 和清华大学也独立得出了相同结论。
全球三大顶尖 AI 实验室，分别研究，最终达成共识：
这个问题是永久性的。

下次 ChatGPT 给你答案时，记得问自己一句：
这是真的，还是它只是一次自信的瞎猜？