[AI]《Rethinking Uncertainty Evaluation in Large Language Models》K Matta, A Naphade, A Zou [CMU & Meta] (2026)

在大型语言模型（LLM）的不确定性评估领域，校准指标（Calibration）是长期存在的唯一准绳。然而，过去的方法受困于对“平均准确率”的盲目追求，本质原因是校准指标无法识别内部逻辑自相矛盾的评估器。例如，一个始终输出固定准确率的预测器虽能获得完美的校准分数，却无法提供任何具体的实例级信息。

本文的核心洞见是：把 LLM 的置信度重新看作必须遵循概率公理的“连贯信念”。由此，研究者构建了包含结构连贯性、忠实度与实用性的 C1 评估框架，通过检测得分是否满足归一化、蕴含单调性等硬约束，迫使模型隐藏的逻辑断裂浮出水面。实验显示，现有模型在 31% 的情况下对逻辑上更简单的子问题反而缺乏信心。

这项工作真正留下的遗产是确立了“概率有效性”高于“数值校准”的评估优先级。它为后来者打开的新门是将逻辑连贯性作为一种新的训练信号，而非仅仅作为事后检测指标；但尚未跨过的门槛是该框架仍高度依赖于 LLM 自身的语义聚类能力，其聚类精度直接决定了置信度量化的上限。

arxiv.org/abs/2607.19367 #机器学习# #人工智能# #论文# #AI创造营#