[纸飞机]语音领域的GPT时刻：Meta 发布「突破性」生成式语音系统，一个通用模型解决多项任务

继开源 LLaMA 之后，Meta 在生成式 AI 方向又公布一项重大研究。
地址：http://t.cn/A6ppKduN
AIGC应用在线体验：http://t.cn/A6pi1kyc

我们知道，GPT、DALL-E 等大规模生成模型彻底改变了自然语言处理和计算机视觉研究。这些模型可以生成高保真文本或图像，而且它们有个重要特点就是「通才」，可以解决没训过的任务。相比之下，语音生成模型在规模和任务泛化方面一直没有「突破性」成果。

今日，Meta 介绍了一种「突破性」的生成式语音系统，它可以合成六种语言的语音，执行噪声消除、内容编辑、转换音频风格等。Meta 称之为最通用的语音生成 AI。

Meta 表示，Voicebox 是第一个没有经过专门针对语音生成的训练，却可以泛化到语音生成任务的模型。

与图像和文本的生成一样，Voicebox 可以创建多种样式的语音输出，包括从头开始创建输出和修改给定的样本。Voicebox 可以合成六种语言的语音，以及执行噪声去除、内容编辑、风格转换和多样化样本生成。

在 Voicebox 出现之前，生成语音的 AI 需要使用精心准备的训练数据对每项任务进行特定训练。而 Voicebox 仅需要从原始音频和随附的转录文本中学习，并且 Voicebox 可以修改给定样本的任何部分。

Voicebox 基于一种称为流匹配（Flow Matching）的方法，该方法已被证明可以改进扩散模型。

在生成效果方面，Voicebox 的可懂度（词错率：1.9% VS 5.9%）和音频相似度（0.681 VS 0.580）优于当前英文语音生成 SOTA 模型 VALL-E，并且速度快了 20 倍。在跨语言风格迁移任务上，Voicebox 优于 YourTTS，将平均词错率从 10.9% 降低到 5.2%，将音频相似度从 0.335 提高到 0.481。

#AI绘画# #AIGC# #AIGC人工智能研究所[超话]# #人工智能[超话]# #AIGC超话# #AI# #高校[超话]# #Meta#