哈勃观察员 26-04-06 21:31
微博认证:科学科普博主 头条文章作者

研究者警告:AI架构存在根本缺陷,无法实现人类智能!

近日,发表在预印本平台arXiv上的一项最新研究指出,支撑ChatGPT、Claude和谷歌Gemini等主流人工智能聊天机器人的底层技术架构,可能天生就无法实现真正的人类水平推理能力。这篇研究论文认为,现代大型语言模型在解决问题的逻辑上存在固有缺陷,研究者称之为“推理失败”——当模型丢失解决任务所需的关键信息时,即使面对看似简单的问题也会给出错误答案。

该研究聚焦于变压器模型,这是驱动当前流行AI聊天机器人的核心神经网络架构。尽管变压器使大语言模型在语言生成等任务上表现出色,但研究人员认为,这种架构同时也抑制了实现真正人类水平推理所需的可靠逻辑过程。大语言模型通过在海量文本数据上训练,学习统计模式,然后逐字预测合理答案来生成响应。它们使用“自注意力”机制跟踪文本中单词和概念之间的关系,这让聊天机器人擅长生成令人信服的答案,但模型并不进行真正意义上的“思考”。
对于需要跨多个步骤解决问题的长任务,变压器可能丢失关键信息,转而依赖从训练数据中学习到的模式,导致推理失败。这也解释了大语言模型为何会在被告知答案错误时反复给出相同回应,或对同一问题的不同措辞产生不同答案。

英国阿兰·图灵研究所高级研究数据科学家费德里科·南尼指出,人们发现让大语言模型“一步一步思考”往往会得到正确答案,“但这是个骗局——那不是人类意义上的真正推理,只是伪装成思考过程的标记预测”。
研究人员认为,当前评估大语言模型表现的方法存在三大缺陷——提示修改会影响结果;基准测试使用越多性能越低且受污染;只评估结果而非推理过程。这可能导致基准测试大大夸大模型能力。

研究者表示,单纯在更多数据上训练或扩大模型规模不太可能解决问题。实现人类水平推理需要架构创新、更强大的世界模型,以及更深层次的整合。南尼总结道:“从哲学角度说,我们已经找到了变压器的极限。它们不是你构建数字思维的方式。你只能把这种架构推到这么远。”
#热门微博# #科学新闻# #人工智能# #哈勃观察员[超话]#

发布于 广东