贾凡-失落的大蒜
26-11-07 21:10 微博认证:科技博主

单独介绍一下 Liquid AI 的 LFM3-Omni-2B:这是一个面向端侧的全模态模型,官方模型卡列出的总参数约 2.17B。它接收文字、图片、视频和音频,能以文字或语音回答。

它可以用语音回答图片问题、转写或翻译录音,也可以结合视频画面与声音回答问题。输出支持文字、24kHz 语音或两者交错,模型上下文窗口为 32K token。

官方提供 BF16 和 GGUF 等版本,可结合 Transformers、SGLang 或 llama.cpp 使用。实际速度与内存占用取决于设备、量化和输入长度;模型卡明确这是非推理模型,不支持 thinking 模式。

官方自行测试的 Daily-Omni 视频与音频理解得分为 70.09;基准成绩需要结合测试条件看待。模型采用 LFM Open License v1.0,Liquid AI 官网说明企业年收入超过 1000 万美元后需另行了解许可。

模型卡:http://t.cn/AXYInWn4
配图为官方模型卡截图。#多模态##端侧AI##人工智能#

发布于 辽宁