#紫东动态# 无创解码大脑信号语义！自动化所团队在多模态神经信息编解码方面取得新进展[话筒]
近日，中科院自动化所神经计算与脑机交互团队将大脑、视觉和语言知识相结合，通过多模态学习成功实现了从人类脑活动中零样本地解码视觉新类别。

人类对视觉刺激的感知和识别受到视觉特征和人们先前经验的影响，例如当人们看到一个熟悉的物体时，大脑会自然而然地检索与该物体相关的知识。研究团队认为，想要更好地解码记录到的脑信号，不仅应该使用实际呈现的视觉语义特征，还应该包括与该视觉目标对象相关的更丰富的语言语义特征。基于此，本研究提出“脑-图-文”三模态联合学习框架，在使用实际呈现的视觉语义特征的同时，加入与该视觉目标对象相关的更丰富的语言语义特征，成功实现了更好的脑信号解码。相关研究成果以Decoding Visual Neural Representations by Multimodal Learning of Brain-Visual-Linguistic Features为题发表于IEEE TPAMI。
目前，研究团队已将代码和新收集的三模态数据集开源。
了解详情：http://t.cn/A6N2gbT5