【AI黑箱要被AI破解了?前OpenAI研究员发现,90%的神经元功能可以解释】
10 月 15 日,前 #OpenAI# 研究员、现任 Goodfire 研究员 Nick Cammarata 在社交平台上分享了一项引发 AI 研究界关注的发现——大型神经网络的内部结构,可能远比过去认为的更容易理解。
几乎同时,他发表了题为《Neural Networks Are Already Clean》(神经网络原本就很清晰)的长文,详细解释了自己为何改变过去的研究判断。
这篇文章很快登上各大技术社区并引发讨论。关注的原因之一,是 Cammarata 本人的研究背景。他曾深度参与 OpenAI 早期的机制可解释性研究,也是推动用大模型自动解释神经元的核心成员之一。过去,他曾认为复杂神经网络内部存在大量难以拆解的特征纠缠,如今却提出了一个几近相反的判断。
所谓机制可解释性(Mechanistic Interpretability),就是尝试厘清 AI 模型内部负责不同任务的神经元及其连接回路,弄清楚模型究竟如何从输入一步步推导出输出。这项研究有助于识别模型潜在的错误、偏见乃至欺骗性行为,一直是 AI 安全与对齐研究的重要方向。今年初,《#麻省理工科技评论# 》还将#机制可解释性# 评为 2026 年“十大突破性技术”之一。
戳链接查看详情:http://t.cn/AXlYwOQx
