[CL]《LMs as Task-Specific Knowledge Bases: An Interpretability Analysis》A Elhelo, A Globerson, M Geva [Tel Aviv University] (2026)

在大模型领域，将参数视为统一“知识库”是一个误导性假设。过去的方法受困于模型在不同问法下表现不一的乱象，本质原因是知识在模型内部并非以“单一事实源”存在，而是在训练中被锁定在了特定的任务格式里。

本文的核心洞见是：把模型参数重新看作“任务特定型”的知识簇。通过对“事实-任务”对进行稀疏参数定位，研究发现同一事实在选择题、填空题等不同任务下竟依赖完全不同的神经元子集，这种参数空间的互不重叠解释了知识为何难以跨任务迁移。

这项工作真正留下的遗产是解构了模型知识的整体性。它警示开发者，针对单一格式的知识编辑或擦除往往会留下大量残留，同时为思维链技术提供了“跨任务路径路由”的新解释，但尚未跨过的门槛是这种碎片化特征在超大规模模型中的演化规律。

arxiv.org/abs/2606.27237 #机器学习# #人工智能# #论文# #AI创造营#