单卡4090跑AI视频通话,我把延迟压进了3秒内
单卡4090,AI视频通话延迟从3.5秒压到2.9秒,正式打进3秒内。
这期把压延迟的全流程拆开:VAD判停、语音识别、大模型流式输出、唇同步缓冲,四个环节一段一段抠出来的。除了LLM推理那1.4秒暂时动不了,其他基本已经压到物理下限。
VoxEMW项目仓库:http://t.cn/AX9Eew9e
#微博vibelab##vibelife# @微博科技 @月之暗面Kimi http://t.cn/AXCl8BJP
发布于 浙江
单卡4090跑AI视频通话,我把延迟压进了3秒内
单卡4090,AI视频通话延迟从3.5秒压到2.9秒,正式打进3秒内。
这期把压延迟的全流程拆开:VAD判停、语音识别、大模型流式输出、唇同步缓冲,四个环节一段一段抠出来的。除了LLM推理那1.4秒暂时动不了,其他基本已经压到物理下限。
VoxEMW项目仓库:http://t.cn/AX9Eew9e
#微博vibelab##vibelife# @微博科技 @月之暗面Kimi http://t.cn/AXCl8BJP