[IR]《Improving Long-Context Retrieval with Multi-Prefix Embedding》Z Yu, X Ma, S Zhuang, Z Xu… [University of Waterloo & University of Queensland] (2026)

在长文档检索领域，如何兼顾细粒度匹配与索引效率是一个悬而未决的难题。过去的方法受困于单向量压缩导致的信息损耗或 Token 级多向量带来的存储爆炸，本质原因是缺乏一种既能保留全局上下文、又能实现低成本局部对齐的折中表示。

本文的核心洞见是：把长文档编码重新看作一系列受因果掩码约束的前缀状态集合。由此，在分块间插入 EOS 标记并提取其隐层状态作为前缀嵌入这一关键操作，使模型仅需一次前向传播即可在不改变架构的前提下，实现具备跨块背景的细粒度匹配。

这项工作真正留下的遗产是验证了生成式模型的前缀状态可直接转化为高效的文档局部索引。它为后来者打开的新门是无需额外标注即可实现轻量级的证据精准溯源，但尚未跨过的门槛是多向量索引带来的存储增量以及在超大规模模型上的计算开销平衡。

arxiv.org/abs/2606.23642 #机器学习# #人工智能# #论文# #AI创造营#