新加坡科技研究局和ETH Zurich的研究人员旨在解决视觉Transformer中与多头自注意力(MHSA)相关的高计算/空间复杂度问题。为此，文章提出了分层多头自注意力(H-MHSA)，这是一种全新的分层式计算自注意力的方法。具体来说，研究人员首先把输入图像分成固定大小的像素块，其中每一个像素块被视为一个token。而后，本文所提出的H-MHSA从局部的像素块中学习token间的关系，为局部关系建模。接下来，小的像素块被合并成更大的像素块，H-MHSA再为合并而成的数量不多的token进行全局依赖性建模。最后，对局部的和全局的注意力特征进行汇总，以获得具有强大表征能力的特征。因为研究人员在每一步只计算有限数量token的注意力，所以计算量大大减少。因此，H-MHSA可以在不丢失细粒度信息的前提下，有效地对token之间的全局关系进行建模。在引入H-MHSA模块的前提下，研究人员搭建了一个基于分层注意力的Transformer网络，命名为HAT-Net。为了证明HAT-Net在场景理解方面的优越性，研究者们在各种基本视觉任务上做了大量的实验，包括图像分类、语义分割、物体检测和实物分割。因此，HAT-Net为视觉Transformer提供了一个新的视角。代码和预训练模型可在http://t.cn/A6RRQ2gG获得。http://t.cn/A6RRQ2gb #新加坡科技研究局 #计算机视觉[超话]##计算机视觉##人工智能[超话]##人工智能##苏黎世联邦理工学院##苏黎世联邦理工大学#