#AI论文分享#

#科研上新# 第15期更新啦 [太开心] 本期，我们为大家精心挑选了4篇AI领域的前沿论文[鼓掌] 第一篇文章中，研究员们提出了 BABEL 框架，使用模态对齐的方法来进一步推进#多模态# 感知, 一起来看看吧 ！

《通过扩展式模态，对齐推动多模态感知》

感知（sensing）技术如今已被广泛地应用于各种领域。人们探索了许多感知模态，如运动传感器（IMU）、毫米波雷达、激光雷达、Wi-Fi、超声等。每一种模态都为感知世界提供了独特而互补的视角，因此人们通常同时部署多种模态感知。

在本篇论文中，微软亚洲研究院的研究员们提出了使用模态对齐的方法来进一步推进多模态感知。模态对齐是将多种模态的信号投射到统一的特征空间中，如下图所示。对齐的过程是利用多种方式来增强多模态感知：首先，对齐是通过一个模态来重构另一种模态的特征，因此模态间能够互补；其次，统一的特征空间可以让多种模态融合（fusion）变得更加容易。不仅如此，多种对齐的感知模态还有潜力催生新的应用：利用统一的特征空间，一种感知模态的信号可以被用来检索另一种模态的表达，例如，通过 Wi-Fi 信道的状态信息（CSI）获取视觉表示，从而实现 Wi-Fi 信号成像；跨模态的对齐特征也可以自然地将感知能力与大语言模型（LLMs）进行连接，让大模型更好地与物理世界交互。

为了对齐多种感知模态，研究员们提出了 BABEL 框架，包括神经网络架构、数据准备与处理，以及训练策略。作为一个可扩展的预训练多模态感知神经网络，BABEL 目前对齐了六种广泛应用的感知模态，包括 Wi-Fi、毫米波、IMU、LiDAR、视觉与深度。BABEL 的关键思想是将 N 模态对齐转化为一系列的两模态对齐过程，从而克服感知研究中数据严重缺乏的问题，特别是完全配对数据的稀缺。同时，BABEL 中也提出了融合异构的预训练单模态解码器，来进一步减少对训练数据的需求，以及使用自适应训练策略来平衡新加入的模态与之前对齐的模态间的贡献。

评估显示，与多种多模态感知框架、单模态感知网络和多模态大语言模型相比，BABEL 在8个人类活动识别数据集上表现出色。BABEL 不仅有效地融合了多个感知模态（准确性提升高达22%），而且还提高了单个模态的性能（平均准确性提高了12%）。利用 BABEL，研究员们还讨论并初步实现了跨感知模态检索，以及将感知模态与 LLMs 进行整合等前沿研究。

论文链接：http://t.cn/A6E7gAIe
科研上新第15期全文可见：http://t.cn/A6E7gAIg