DeepSeek把自己线上跑服务用的推理框架DeepInfer开源了，这期11分钟把它过了一遍，懂点技术的可以看看。
10月20号放出来的，Apache 2.0协议，目前只支持DeepSeek-V4.1-Flash，硬件是英伟达SM100也就是Blackwell，还有华为昇腾950，Hopper这些老卡不在名单里。
推理框架平时没人聊，大家眼睛总盯着训练和算力，但每百万Token的成本，很大一块是这一层决定的。投机解码就在里面，小模型先猜几个Token，大模型来批改，DeepSeek这版还加了个置信度预测，只挑最可能通过的去验。
不过别以为下回来就能自己开个DeepSeek，KV缓存、Prefill和Decode分离、负载均衡这些都没放出来。SiliconANGLE转述DeepSeek自己的文档，能跑得划算的最小部署是64张卡做Prefill，再加64张卡做Decode，普通人看个热闹就行

视频来源于B站作者:小白debug

#热点聚焦#,#微博视频精选大赏# http://t.cn/AXjBIxCM