阿里通义实验室太强了。
最近发布了一个用来给电影、电视剧配音的模型。
简单的说,你现在给电影、电视剧配音,会有很多问题。
比如说,说话的口型和画面不同步,没感情,多人对话混乱等等。
有这个模型,你就可以在做AI漫剧、短剧的时候配音了。
而且我看了一下,这个模型也不大。
这是项目官方介绍,难得的是,连数据集也开源了:
Fun-CineForge 包含一个用于生成大规模配音数据集的端到端数据集构建管道,以及一个专为多样化电影场景设计的基于多模态大模型的配音模型。
利用该管道,我们构建了首个大规模中文电视剧配音数据集 CineDub-CN,该数据集包含丰富的标注信息和多样化的场景类型。
在独白、旁白、对话及多说话人场景中,我们的配音模型在音频质量、唇形同步、音色转换和指令遵循等所有方面均优于当前最先进的方法。
模型地址:www.modelscope.cn/models/FunAudioLLM/Fun-CineForge/summary
推理代码:github.com/FunAudioLLM/FunCineForge
发布于 江苏
