斌叔OKmath
26-11-20 08:11 微博认证:橙旭园CEO 教育博主

Nvidia 现在遇到了一个大问题

研究人员通过完全移除 CPU 让 LLM 推理速度提升了 8.47 倍。

目前,每个主要的 AI 服务栈——vLLM、TensorRT-LLM、SGLang——都有一个巨大的隐藏瓶颈。

你的 40,000 美元 GPU 一直在等待 CPU 告诉它该做什么。

每个传入请求、每个批次、每个 token 级别的决策都必须先通过主机 CPU。

如果那个 CPU 被其他任何事情占用,你的 AI 性能就会崩溃。数据中心被迫让大量计算资源闲置,只是为了防止 CPU 卡住。

于是研究人员构建了 Blink。

一种完全从推理路��中移除主机 CPU 的架构。

它不再通过 CPU 路由,而是由 SmartNIC 捕获传入请求,并通过 RDMA 直接将它们投射到 GPU 内存中。

然后,GPU 内部运行的一个持久内核接管。它自己处理所有批处理、调度和 KV 缓存管理。

零 CPU 参与。

他们将 Blink 与 TensorRT-LLM、vLLM 和 SGLang 进行了正面测试。

结果令人震惊:

• 首 token 时间(P99 TTFT)最多快 8.47 倍
• token 生成速度(P99 TPOT)最多快 3.40 倍
• 解码吞吐量最高提升 2.1 倍
• 每个 token 能耗最多降低 48.6%

而最疯狂的部分是这样的。

当他们引入严重的 CPU 干扰时,现有的系统性能下降了高达两个数量级。

Blink 甚至没有丝毫动摇。

15小时
arxiv.org
Blink: CPU-Free LLM Inference by Delegating the Serving Stack to...
Large Language Model (LLM) inference is rapidly becoming a core datacenter service, yet current serving stacks keep the host CPU on the critical path for orchestration and token-level control....

http://t.cn/AXTtcW7v

发布于 北京