蚁工厂
26-10-27 08:32 微博认证:科技博主

腾讯开源了一个同声传译模型
地址:github.com/Tencent-Hunyuan/Hy-SimulMT/
中英互译、音色克隆、3秒延时

“Hy-SimulMT 是腾讯混元推出的实时同声传译大模型,支持中文与英文之间的双向语音到语音翻译。说话人的音频可以持续输入,模型边听边译,同步给出译文文字与语音,并支持实时音色克隆,在准确传达信息的同时保留说话人的声音特点。

面向会议、演讲与访谈等实时交流场景,Hy-SimulMT 希望在准确传达信息的同时,减少等待对交流节奏的影响。围绕这一目标,我们结合公开基准测试、真实场景音频和专业同传译员对照,评估模型在翻译质量与响应速度之间的平衡。

在本次 RealSI 长音频评测中,Hy-SimulMT 的 StreamLAAL 约为 3 秒,为图示参评系统中的最低值;GEMBA 得分高于所对比的开源模型,并超过五个商业 API 中的四个。”

发布于 山东