互联网的那点事 24-10-27 21:35
微博认证:微博互联网观察家

兄弟们,这个厉害了!!!

PersonaTalk:字节跳动开发出可精准给视频进行AI配音的模型

能保持口型同步、说话风格完美匹配

只需输入音频和参考视频,即可生成同步的视觉配音

不仅让嘴唇动作与音频完美匹配,还能保留说话者的个性特点,比如说话的速度、语调和表情。

还能同步说话者的风格,比如轻松、严肃或激动的语气,让配音更生动。

不仅如此,还能实现视频翻译,将视频说话者的语音翻译成其他语言。

通过“双重注意力”机制,PersonaTalk 能够分别处理唇部和面部的纹理,确保每个细节都能真实呈现,比如牙齿的清晰度、面部轮廓的准确性、肤色和妆容的保留。

这样,生成的人脸视频看起来更加自然和细腻。

详细介绍:http://t.cn/A6nGsDZQ http://t.cn/A6nqPCfw

发布于 安徽