黄建同学 23-11-13 07:34
微博认证:AI博主

HeyGen的视频翻译(中文配音)太厉害了。作者Gorden Sun翻译的一段视频↓

口型完美,卡点和嘴型都对的上。声音克隆稍有缺陷但也很好了,毕竟HeyGen只通过40秒的视频来克隆音频。如果刻意对比原视频,情感还原度稍有欠缺。

只需上传一段视频即可实现!HeyGen,全套解决
方案地址:labs.heygen.com/video-translate

当然,HeyGen是付费的。

也有开源方案来翻译视频,就比较复杂了:
语音转文字:whisper
文字翻译:GPT
声音克隆+生成音频:so-vits-svc(github.com/svc-develop-team/so-vits-svc)
生成符合音频的嘴型视频:GeneFace++(++版本还没发代码,GeneFace的Github:github.com/yerfor/GeneFace)

#ChatGPT[超话]# http://t.cn/A6WH5d3Y

发布于 北京