Nvidia 现在遇到了一个大问题
研究人员通过完全移除 CPU 让 LLM 推理速度提升了 8.47 倍。
目前,每个主要的 AI 服务栈——vLLM、TensorRT-LLM、SGLang——都有一个巨大的隐藏瓶颈。
你的 40,000 美元 GPU 一直在等待 CPU 告诉它该做什么。
每个传入请求、每个批次、每个 token 级别的决策都必须先通过主机 CPU。
如果那个 CPU 被其他任何事情占用,你的 AI 性能就会崩溃。数据中心被迫让大量计算资源闲置,只是为了防止 CPU 卡住。
于是研究人员构建了 Blink。
一种完全从推理路��中移除主机 CPU 的架构。
它不再通过 CPU 路由,而是由 SmartNIC 捕获传入请求,并通过 RDMA 直接将它们投射到 GPU 内存中。
然后,GPU 内部运行的一个持久内核接管。它自己处理所有批处理、调度和 KV 缓存管理。
零 CPU 参与。
他们将 Blink 与 TensorRT-LLM、vLLM 和 SGLang 进行了正面测试。
结果令人震惊:
• 首 token 时间(P99 TTFT)最多快 8.47 倍
• token 生成速度(P99 TPOT)最多快 3.40 倍
• 解码吞吐量最高提升 2.1 倍
• 每个 token 能耗最多降低 48.6%
而最疯狂的部分是这样的。
当他们引入严重的 CPU 干扰时,现有的系统性能下降了高达两个数量级。
Blink 甚至没有丝毫动摇。
15小时
arxiv.org
Blink: CPU-Free LLM Inference by Delegating the Serving Stack to...
Large Language Model (LLM) inference is rapidly becoming a core datacenter service, yet current serving stacks keep the host CPU on the critical path for orchestration and token-level control....
http://t.cn/AXTtcW7v
