DeepSeek 今天又把家底掀了一层，而且掀的是最值钱的那层。
10 月 20 日，DeepSeek 宣布把内部推理框架 DeepInfer 全面开源，顺手还开源了一个生产级的 Token 编解码组件 deepseek-recipe。这事在行业里算头一回，全球头部大模型公司里，还没有哪家把自己线上真在跑的推理框架整个端出来过。
先说清楚，推理框架是个什么东西。
打个比方你就懂了。模型是一份菜谱，告诉你要放什么料、怎么炒；推理框架是餐厅的后厨，管的是备料怎么排、几百个订单怎么同时出餐、灶台怎么分配才不浪费燃气。菜谱再好，后厨乱糟糟，照样出餐慢、成本高。
DeepSeek 自己的说法更准确：大模型的能力边界由模型本身划定，但能不能用合理的成本把这么大规模的服务跑起来，取决于一个长期没人注意的中间层，就是推理框架。训练让模型学有所成，推理让模型真正被人用起来。
那这次端出来的，到底是什么硬货。
DeepInfer 集成了高性能算子和深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出这些能力，而且英伟达和华为昇腾两个平台都能跑。
配套开源的 deepseek-recipe，干的是一件很实在的活：把 DeepSeek 官方 API 的 Token 处理逻辑完整对齐。翻译过来就是，别人拿这套东西去部署，接口行为跟官方线上服务能对上，不会出现同一个问题、官方和自建部署回答不一致这种糟心事。
最能说明这套系统有多能打的，是 DeepSeek 顺手公开的一组数。
基于 DeepInfer，DeepSeek V4.1 Flash 现在单一集群的服务吞吐是 155 万亿 Tokens 每天，整体收入是每卡每小时 38 美元，注意这个数是按谷价算的，也就是按最低档定价。
155 万亿 Tokens 每天是什么概念，普通人不用去想象这个数字有多大，你只要知道，这是把整个集群的调度压榨到接近极限之后才有的结果。
更有意思的是为什么开源。
行业里有个不成文的规矩：模型权重可以给你，推理框架不给。因为官方 API 卖 Token 的价格优势，很大程度上就来自这套不外传的调度系统。你不给我，我照着模型自己搭一套，性能就是差一截，成本就是高一截，最后算下来还不如直接买官方 API。这是很多做模型服务的公司留的一手。
DeepSeek 这次等于主动把这一手摊开了。云厂商以后可以直接用 DeepSeek 原生的推理框架部署 DeepSeek 模型，拿到接近官方的性能和成本，调度做得到位的规模化部署，成本甚至有可能压到官方原生之下。
那对开发者和企业来说，到底能拿到什么。
最直接的是省掉一大段自己摸索的时间。大规模推理怎么调度、怎么在满足延迟的前提下把吞吐量堆上去、怎么让通信和计算重叠起来，这些经验以前只能靠踩坑一点点攒，现在有现成的工程实现可以看、可以改、可以接着往上优化。想做私有化部署的企业，这套东西的价值不用多说。
但要泼一盆冷水。官方仓库写得很明白，这次开放的是离线推理和大规模服务需要的核心能力，真要搭起完整的在线服务，开发者还得自己补齐 KV 缓存系统、推理阶段分离部署、跨副本负载均衡这些组件。
说白了，给你的是发动机和变速箱，整车还得自己组装，运维也得自己扛。最终能省多少钱，取决于你手里的硬件、业务负载长什么样、团队有没有集成能力。指望今天下载明天就省一半成本，不现实。
拉远一点看，这一串动作连起来才更有意思。
9 月 30 日，DeepSeek 开源了面向昇腾的全套基础设施组件，TileLang 编译工具加上五个算子库，跟英伟达平台的开源组件一一对应。10 月 17 日，V4.1 Flash 更新到新版本。10 月 20 日，推理框架和编解码组件开源。
模型、算子、编译工具、推理框架，一层一层往外掏。以前开源是给条鱼，现在是连渔具和下钩的位置一起给。
对行业的影响，我看有三层。
第一层是门槛。中小团队和创业公司以前想做大规模推理服务，光调度这一关就够喝一壶，现在有成熟实现可以借鉴，起步线被拉低了一大截。
第二层是算力生态。DeepInfer 同时兼容英伟达和昇腾，这不是顺手的事。国产芯片过去最大的短板不是硬件本身，是软件生态没人用、没人优化。DeepSeek 把自己的工程经验直接铺到昇腾上，等于帮国产算力补上了一块最难的拼图。
第三层是行业规矩。头部公司把压箱底的推理框架都开源了，那些还在靠模型开源、框架闭源赚差价的公司，压力就来了。长远看，这会推着整个行业把成本往下压，让 AI 服务的价格继续往下走。
最后说一句，这事最打动我的不是技术多牛，是那股不留后手的劲。全球头部的模型公司，第一个把自己线上真在跑的推理框架整个交出来，这需要的不是技术自信，是对开源这两个字的认真。
你觉得这波开源，最受益的会是谁？是中小开发者，是国产算力，还是咱们这些普通用户？评论区聊聊。
#DeepSeek开源内部推理框架#
