赛博逐梦
26-09-21 00:15

StepAudio 3发布:5个语音模型正在变成一整套工具

阶跃前几天发布了 StepAudio 3,一口气来了 5 款语音大模型:Realtime、ASR、TTS、Gen 和 Music。

一开始看到这个模型清单其实有点疑惑:不都是处理声音吗,为什么还要拆成这么多模型?

搜了下相关资料,看下来才发现,它们解决的事情有些不一样。

ASR 是把话听准、转成文字;
TTS 反过来,让文字念出来别那么像机器;
Realtime 要应付真聊天里的停顿、插话、打断,还得边说边推理、顺手调工具。
Gen 和 Music 更偏创作,前者能一起生成人声、音效、环境声和 BGM,后者专门做完整的曲子。

这次数据也挺亮眼。
Artificial Analysis 上,StepAudio 3 Realtime 的全双工基准 98.9%、语音推理 99.7%,目前都排第一;ASR 的 WER 做到 1.7%,同样处在榜单第一梯队。

所以现在看“语音模型”这几个字,感觉范围已经比以前大很多了。以前我第一印象能想到的就是语音转文字、文字转语音,现在已经扩展到实时对话、音频制作和音乐创作。

目前这些模型已经上线阶跃开放平台,Realtime、Chat、Gen、Music 的预览版还在限时免费,TTS 是 2.5 元/万字符,ASR 是 2.8 元/小时。

我这次还没实际测,先把发布信息和几组第三方数据整理出来。后面如果有合适的场景,我比较想试一下 Realtime 的打断体验到底顺不顺畅,以及 Gen 一次生成完整音频场景到底能做到什么程度。

发布于 浙江