兄弟们,这个厉害了!!!
PersonaTalk:字节跳动开发出可精准给视频进行AI配音的模型
能保持口型同步、说话风格完美匹配
只需输入音频和参考视频,即可生成同步的视觉配音
不仅让嘴唇动作与音频完美匹配,还能保留说话者的个性特点,比如说话的速度、语调和表情。
还能同步说话者的风格,比如轻松、严肃或激动的语气,让配音更生动。
不仅如此,还能实现视频翻译,将视频说话者的语音翻译成其他语言。
通过“双重注意力”机制,PersonaTalk 能够分别处理唇部和面部的纹理,确保每个细节都能真实呈现,比如牙齿的清晰度、面部轮廓的准确性、肤色和妆容的保留。
这样,生成的人脸视频看起来更加自然和细腻。
详细介绍:http://t.cn/A6nGsDZQ http://t.cn/A6nqPCfw
发布于 安徽
