ppBEARintheRye 25-12-31 08:58
微博认证:教育博主

今天看了一篇 2024 年发表在Nature上的评论文章,题目是 Artificial Intelligence and Illusions of Understanding in Scientific Research(人工智能与科学研究中的“理解幻觉”)。作者是来自耶鲁和普林的两位教授。文章写得很好,也很有意思,像我这样的门外汉读起来也完全没有压力。

在使用 AI 的过程中,我们很容易产生所谓的 “illusion of understanding”(理解幻觉),即我们认为自己懂得比实际要多。

这种幻觉其实很常见:当人们可以随时搜索答案,或在做题时有 AI 辅助,往往会高估自己真正掌握知识的程度,把“随时可用的信息”误当成“自己的理解”(我好像也有这个问题[傻眼]

又或者:在科研中,科研人员看到一个预测效果很好的模型,就误以为已经理解了背后的机制。

问题在于,这种理解幻觉一旦不只是发生在个体层面,而是被整个科研系统反复放大,就会产生结构性的后果。

第一个后果是 monoculture of knowing (认知方式的单一化)。

当某些研究方法更便宜、更高效,或更容易得到制度性奖励,这些方法就迅速普及,逐渐主导知识生产。AI 正是这样一种工具。它尤其擅长、也更容易推动量化取向的研究方式。于是,那些需要关注主观经验、细微差别和复杂语境,或本身难以被机器量化的问题,由于难以从 AI 方法中获益,就可能面临被边缘化的风险。这就是作者所说的 monoculture of knowing,我们认识世界的方式可能变得越来越单一。

另一个是monoculture of knowers(认知主体的单一化)。

当 AI 被当作一种中立、权威的认知主体引入科研体系时,人类研究者之间原本存在的差异,如不同背景、经验、训练和视角,就可能被弱化甚至抹平。科研可能会再次走向“好像只有一种正确视角”的状态,这正是认知主体的单一化。

作者最后强调,他们并不主张拒绝 AI,而是我们在追求效率和产出的同时,必须持续反思 AI 如何被纳入科研的知识共同体,以及这种纳入方式是否正在悄然削弱理解的深度、多样性和批判性(文中有更具体的方法论,想看的同学可以看原文)。

发布于 美国