本组2024年最佳论文《从随机游走与路径聚合的角度理解语言模型的推理能力》http://t.cn/A6YcO95Q

在最新的研究成果中，王心怡等深入探讨了预训练语言模型（LMs）的推理能力。我们发现，即便在没有明确微调的情况下，这些模型也能执行复杂的推理任务。通过将语言模型视为在预训练时期通过聚合间接推理路径得出新结论的实体，我们为理解模型的推理能力揭示了一个全新的视角。

研究重点放在了两个关键类型的推理上：利用知识图谱（KGs）进行的逻辑推理和通过数学文字问题（MWPs）进行的数学推理。通过将推理路径形式化为知识/推理图上的随机行走路径，我们分析了学习到的语言模型分布，并提出了一种合理的解释模型推理方式：相关随机行走路径概率的加权和。

通过在多个KG和MWP数据集上进行的实验和分析，研究揭示了训练对随机行走路径的影响，并指出，增加未标记的随机行走推理路径可以改善现实世界中的多步骤推理性能。

欢迎大家关注并深入了解这项研究，共同探索语言模型背后的科学和奥秘！