知名NVIDIAAI研究院Jim Fan对Meta的ImageBind的点评：

自从Llama以来Meta就在开源领域大放异彩。

ImageBind：Meta最新的多模态嵌入，不仅涵盖了常规数据类型（文本、图像、音频），还包括深度、热量（红外）和IMU信号！

OpenAI Embedding是AI驱动搜索和长期记忆的基础。ImageBind是Meta的Embedding API，用于丰富的多媒体搜索、虚拟现实甚至机器人技术。元宇宙将建立在向量的基础上。

通过对齐6种模态，你可以实现一些仅靠文本的GPT-4无法实现的花式功能：

* 跨模态检索：将其视为多媒体谷歌搜索
* 嵌入空间算术：无缝地组合不同的数据格式。
* 生成：通过扩散将任何模态映射到其他任何模态。

当然，这种通用的多模态嵌入在性能上优于领域特定的特征。

ImageBind：将它们全部绑定到一个嵌入空间

论文链接：http://t.cn/A6NR1kBO
项目地址：🔗github.com/facebookresearch/ImageBind🔗

原文链接：🔗twitter.com/DrJimFan/status/1655981075301298177🔗
🧵http://t.cn/A6NRBOCk