#AI论道# 【DeepSeek 把推理框架开源了：单卡 8.95 万 tokens/s 的底牌摊开了】大模型之家讯 10 月 20 日 16:53，深度求索开源内部推理框架 DeepInfer，同时放出生产级 Token 编解码组件 deepseek-recipe。模型、算子库、编译器之后，最后一块没公开过的中间层也被交了出去——它决定的不是模型多聪明，而是同一张卡能跑多便宜。

① 两个仓库分工明确。DeepInfer（Python，Apache-2.0，10 月 16 日建仓，93★）管「算得快」；deepseek-recipe（Rust，MIT，441★）管「切得准」，与官方 API 处理逻辑完整对齐，避免社区自建服务输出与官方对不上。

② 它只服务一个模型。支持列表里只有 V4.1-Flash，本质是专用引擎而非 vLLM/SGLang 那类通用框架。官方基准：Prefill 单卡吞吐峰值约 8.95 万 tokens/s（EP4DP4、4 张 SM100）；解码侧单用户 103 tokens/s 时单卡仍出约 2.63 万 tokens/s。

③ 「全面开源」是有边界的。README 写明完整服务还缺 KV Cache 系统、Prefill/Decode 分离、跨 DP 副本负载均衡，本次均未包含；国产侧昇腾 950 进了支持清单，但需 CANN 9.2 自编译。

点评：开源推理层的意义不在「又一个框架」，而在于把每 token 的成本变成可公开复算的参数。成本一旦透明，价格战才有底。 #DeepSeek##深度求索#