#AI[超话]#OpenAI居然发论文了！AI爱“瞎编”的病根终于找着了

OpenAI平时不怎么轻易发技术论文，最近突然扔出个重磅研究——直接点出了AI幻觉的“罪魁祸首”，圈里不少人看完都直呼“原来问题在这”！

咱们平时用AI，总遇到它一本正经胡说八道的情况，比如编不存在的文献、瞎给数据，这就是“幻觉”。之前大家都猜是模型训练数据有问题，或是参数没调好，OpenAI这次却发现，根子可能在模型的“注意力机制”上。

他们团队拿GPT系列模型做了一堆实验，发现当模型处理信息时，注意力权重如果过度集中在某些局部文本上，忽略了整体逻辑和事实关联，就特容易瞎编。简单说就是，AI有时候会“断章取义”，盯着某几句话使劲发挥，反而忘了前后文的事实，越编越离谱。

比如让AI写一篇关于某历史事件的文章，要是它注意力全放在某句无关的描述上，就可能顺着这句瞎延伸，甚至编造事件细节。OpenAI还发现，在处理长文本时，这种注意力“跑偏”的情况更明显，因为模型记不住太多信息，很容易抓小放大。

更有意思的是，他们试着调整了模型的注意力分配策略，让它更关注整体事实逻辑，结果幻觉率直接降了不少。这一下就给解决AI幻觉指了条明路——不用光盯着训练数据死磕，优化注意力机制说不定更管用。

不少搞AI研发的朋友看完论文都说，OpenAI这波算是捅破了窗户纸。以前大家对幻觉的研究都比较散，这次直接找到核心诱因，以后再优化模型就有了明确方向。毕竟AI要是总“满嘴跑火车”，不管是写报告还是做研究，都没法让人放心用，现在找到病根，离解决问题就不远了！ http://t.cn/AXPKYkVA