电磁波Studio
26-08-03 22:21

单卡4090跑AI视频通话,我把延迟压进了3秒内

单卡4090,AI视频通话延迟从3.5秒压到2.9秒,正式打进3秒内。

这期把压延迟的全流程拆开:VAD判停、语音识别、大模型流式输出、唇同步缓冲,四个环节一段一段抠出来的。除了LLM推理那1.4秒暂时动不了,其他基本已经压到物理下限。

VoxEMW项目仓库:http://t.cn/AX9Eew9e

#微博vibelab##vibelife# @微博科技 @月之暗面Kimi http://t.cn/AXCl8BJP

发布于 浙江