奇怪喵
26-05-29 13:20 微博认证:科学科普博主 微博译制视频博主

冷知识:AI为何会一本正经胡说八道

大模型幻觉(Hallucinations),意思是大模型输出看似逻辑自洽,实则与事实、常识完全背离,普遍存在的系统性现象。

它的本质是Transformer模型的概率生成机制:AI并非真正“理解”内容,只是从训练数据中统计规律、逐词“猜”下一个输出。面对冷门孤例事实、复杂推理的场景,模型找不到有效统计规律,就会凭空编造内容。

而又因为行业奖励和评估机制为“猜对加分,不答不得分”,又反向“奖励”了这种投机式的瞎猜。就像考试时,猜答案比空题更好拿分,因此就出现AI胡说八道的情况。

有趣的是,当设定允许模型说“我不知道”时,幻觉会明显减少。

#AI为何会一本正经胡说八道##AI大模型##上微博涨知识##冷知识百科#

发布于 广东