AIGCLINK
26-11-13 12:37 微博认证:AI博主

一个74M的语音编解码模型:LiquidCodec,让语音AI在CPU上也能高速编解码音频,解码速度达到实时的87倍

这东西对端侧语音Agent、AI眼镜、智能耳机、车载AI来说值得关注

权重已开放,支持本地部署

性能上,在Apple M4 Max、单线程CPU、FP32条件下
音频编码速度达到实时的361倍
音频解码速度达到实时的87倍
同一测试条件下,解码吞吐速度约为Mimi的2.9倍、X-Codec 2的3.3倍

现在大家都在卷语音大模型的理解能力、自然度和实时交互,但还有一个容易被忽视的瓶颈就是音频编解码器

语音模型通常需要先把声音编码成离散的Audio Token,模型理解、推理并生成语音Token后,还要通过解码器把这些Token还原成可以播放的声音

LiquidCodec的技术关键点:

采用GFSQ分组有限标量量化
相比部分传统Codec采用的残差向量量化,它减少了量化码本之间的顺序依赖,让音频Token更适合语音大模型学习和并行预测

优化编解码器架构
采用针对高效计算设计的LFM3架构模块,并优化音频重建过程,减少解码时的计算开销

面向低精度部署
通过量化感知训练,让解码器在Q4_0等低精度条件下,仍能尽量保持声音重建质量,降低模型体积和运行资源需求

更轻量、更快的音频编解码器,可以帮助降低本地语音处理的资源门槛,让实时语音交互更容易在端侧落地

官网:http://t.cn/AXYEBnMa
HF:http://t.cn/AXYEBnMS

#LiquidAI##LiquidCodec##语音AI#

发布于 山西