[LG]《Hierarchical Global Attention (HGA)》W Frank, F Vladimir, G Artemiy [BMW Group] (2026)

在长上下文大模型领域，KV Cache 巨大的显存占用是制约推理的瓶颈。过去的方法往往需要在计算效率与模型精度间做痛苦权衡，要么依赖昂贵的重新训练，要么因近似计算导致性能大幅下降。其本质原因是，传统架构强制要求将所有历史 Token 的键值对实时驻留在昂贵的显存中，限制了上下文规模的扩展。

本文的核心洞见是：将长程注意力建模为一种分层检索机制，而非全量计算。通过生成感知旋转位置编码的块级摘要，系统仅从主机内存中按需抓取与当前查询最相关的 Token 进入显存。这种“即插即用”的路由操作，使模型能在不修改原始权重的前提下，仅对 3% 的关键数据执行精确的 Token 级注意力计算，从而解开显存限制。

这项工作真正留下的遗产是证明了内容路由可实现上下文长度与显存占用的解耦，让消费级显卡运行 64K 长度的 30B 级模型成为可能。它为超长序列推理打开了低成本落地的大门，但尚未跨过的门槛是：路由机制与长程位置编码外推之间的复杂交互仍存在微小精度损耗，这暗示未来的突破口可能在于位置编码的重新设计。

arxiv.org/abs/2606.30709 #机器学习# #人工智能# #论文# #AI创造营#