挨踢牛魔王
26-03-11 11:45 微博认证:科技博主

现在AI语音这块进步很快。
介绍一个开源的语音模型Fish audio,最近出新版本了。

Fish Audio S2 Pro 是一款领先的文本到语音(TTS)模型,支持对韵律和情感进行细粒度的内联控制。该系统在 80 多种语言、超过 1000 万小时的音频数据上进行训练,结合了强化学习对齐与双自回归架构。本次发布包含模型权重、微调代码以及基于 SGLang 的流式推理引擎

一个特色就是用标签控制语音:
S2 Pro 通过在文本中直接嵌入自然语言指令(使用 [tag] 语法)实现对语音生成的局部控制。不同于依赖固定预定义标签集的方式,S2 Pro 接受 自由格式的文本描述——例如 [whisper in small voice](小声耳语)、[professional broadcast tone](专业播音腔调)或 [pitch up](提高音高)——从而支持在词级别进行开放式表达控制。

常用标签(支持 15,000+ 种唯一标签):
[pause] [emphasis] [laughing] [inhale] [chuckle] [tsk] [singing] [excited] [laughing tone] [interrupting] [chuckling] [excited tone] [volume up] [echo] [angry] [low volume] [sigh] [low voice] [whisper] [screaming] [shouting] [loud] [surprised] [short pause] [exhale] [delight] [panting] [audience laughter] [with strong accent] [volume down] [clearing throat] [sad] [moaning] [shocked]

S2 Pro 支持 80 多种语言:

第一梯队: 日语 (ja)、英语 (en)、中文 (zh)

第二梯队: 韩语 (ko)、西班牙语 (es)、葡萄牙语 (pt)、阿拉伯语 (ar)、俄语 (ru)、法语 (fr)、德语 (de)

其他支持的语言: sv, it, tr, no, nl, cy, eu, ca, da, gl, ta, hu, fi, pl, et, hi, la, ur, th, vi, jw, bn, yo, sl, cs, sw, nn, he, ms, uk, id, kk, bg, lv, my, tl, sk, ne, fa, af, el, bo, hr, ro, sn, mi, yi, am, be, km, is, az, sd, br, sq, ps, mn, ht, ml, sr, sa, te, ka, bs, pa, lt, kn, si, hy, mr, as, gu, fo 等。

在一块NVIDIA H200显卡上:
实时因子(RTF):0.195
首次音频时间:~100毫秒
吞吐量:3,000+ 声学代币/秒,同时保持 RTF 低于 0.5

模型地址:www.modelscope.cn/models/fishaudio/s2-pro

发布于 江苏