以前追问一篇长文，缓存缺了一小块，模型可能得把整篇重算一遍；现在 DeepSeek 只重算末尾 128 个 token。

这是它刚开源的推理引擎 DeepInfer，就是撑着 V4.1 Flash 线上服务的那套，单集群每天约 155 万亿 token。
光这一招，总预填充计算接近减半。

让显卡少做无用功的 5 个办法👇

你丢给 AI 一篇长文让它总结，再追着其中一点问，背后是读输入、逐字生成、复用缓存三段计算，DeepInfer 每一段都在抠。

🧠 读和写分开干
读长文适合大批量矩阵运算，放普通 8 卡机器；逐字生成吃带宽和通信，放 64～128 卡的高带宽超节点，各管各的。

💡 追问不用找回原机器
历史对话的缓存存进约 100 PiB 的 3FS 集群，Agent 场景留约 3 天、聊天留约 7 天，任意一台机器都能接着用。

⚡️ 没把握的草稿少验
投机解码原来每轮固定验 5 个草稿；DSpark 先估每个草稿的把握再决定验几个，生产负载基准下吞吐约 +5.4%，高并发时 +11%。

📊 低并发反而慢一点
官方自己也写了：每路 16 个序列时吞吐是 -1.5%。动态验证不是哪都赢。

🔌 不跑引擎也能拿走一块
同时开源的 deepseek-recipe 用 Rust 写，把 API 请求转成模型输入，再把输出拆回正文、思考和工具调用，做 API 服务的可以单独引入。

说人话就是：DeepSeek 把"怎么省着跑大模型"的底牌亮了一大半。首发支持 NVIDIA SM100 和华为昇腾 950，但缓存管理和负载均衡这次没放出来，完整线上服务还得自己配。

你们自建推理，现在最烧钱的是哪一段？
完整解读放评论区了👇