蚁工厂
26-09-08 08:32 微博认证:科技博主

MIT公开课:多模态人工智能
地址:mit-mi.github.io/mmai-course/spring2026/
目前课件、视频讲座、参考资料都已在课程主页上公布了
“人工智能(AI)在提升数字生产力、改善与物理世界的交互、促进整体福祉以及丰富人类体验方面具有巨大潜力。为了真正发挥 AI 的影响力,这些系统需要建立在多种真实世界的数据模态之上——从仅处理语言的系统,到全面整合视觉、音频、传感器数据、医疗数据、音乐、艺术、嗅觉、味觉等多种信息。本课程将介绍多模态人工智能(Multimodal AI)的基本原理,即如何让 AI 同时处理多种模态,例如将语言与图像联系起来、将音乐与艺术结合起来,以及连接感知与执行等。

课程将涵盖以下 AI 方法:
🌟对异构且相互关联的数据源进行表示与融合;
🌟对来自不同视角或模态的数据进行对齐;
🌟基于多种模态进行多步骤推理;
🌟生成新的多模态内容;
🌟将知识从数据资源丰富的场景迁移到数据资源稀缺的场景;
🌟对多模态 AI 的基本原则进行量化研究,以实现安全、合乎伦理并与人类价值相一致的部署。”

发布于 山东