老K的科技内参
26-10-21 11:21 微博认证:数码博主

DeepSeek开源了生产级推理框架DeepInfer。单集群日吞吐155万亿Token,按谷价每卡每小时收入38美元的运营数据也一并公开。同一引擎同时兼容英伟达SM100与华为昇腾950。配套组件deepseek-recipe处理逻辑与官方API完全对齐。Apache 2.0协议允许免费商用。线上TTFT约400ms,缓存命中率96%,每秒输出230个token。中小团队现在能快速基于成熟框架二次开发。这释放了实际部署能力,也让国产算力适配成本降到编译级,第三方推理成本能接近官方水平。 #DeepSeek推理引擎开源#

发布于 江苏