Mobile V-MoEs: Scaling Down Vision Transformers via Sparse Mixture-of-Experts http://t.cn/A6OadfEs
文章探讨了在资源受限的视觉应用中使用稀疏的Mixture-of-Experts模型（MoEs）来缩小Vision Transformers（ViTs）的规模的问题。传统的ViTs是密集的，需要大量的计算资源，而稀疏的MoEs只会针对输入标记中的一小部分模型参数进行激活，从而实现了规模上的扩展。该工作提出了一种简化和适用于移动设备的MoE设计，其中整个图像而不是个别的图像块被路由到专家。此外，还提出了一种稳定的MoE训练过程，它利用超类信息来指导路由器。通过实验证明，稀疏的Mobile Vision MoEs（V-MoEs）在性能和效率之间取得了更好的平衡。例如，对于ViT-Tiny模型，我们的Mobile V-MoE在ImageNet-1k数据集上的表现比其密集对应模型提高了3.39%。对于一个仅具有54M FLOPs推理开销的更小的ViT变体，我们的MoE提高了4.66%。
#每日AI动态##论文[超话]##人工智能[超话]##用ChatPaper读论文#