蚁工厂
26-10-21 08:28 微博认证:科技博主

neural nets.用opus 5.5速搓了一篇DeepSeek刚开源的DeepInfer介绍视频。#微博视频号续航计划#

DeepInfer是支撑 DeepSeek 生产环境 API 的引擎核心。片中用纯动画拆解了它的运行流程:一条 prompt 输入后,如何在多张 GPU 之间被调度、切分、计算,最后输出 token。内容涉及调度、注意力、KV cache、专家负载均衡、投机解码等几部分,但全片没有堆公式,基本一张图讲一个概念,节奏很紧凑。 #DeepSeek开源内部推理框架# http://t.cn/AXjhyTJ5

发布于 山东