章佳明
26-06-29 16:41 微博认证:时尚达人 科技博主

#DeepSeek新发布的DSpark有多强#

做大模型推理运维,各大平台一直卡在一个无解死循环。所有人都清楚光堆 GPU 不是长久解法,但过去一两年,除了加卡、换高端算力卡根本没有第二条靠谱路。
这次DeepSeek 联合北大开源的 DSpark,是我这段时间是我见过为数不多能落地的推理框架,数据和延迟肉眼看得见改善。

传统那种先来先服务的 FCFS 调度,高峰期就是排队堵成一片。DSpark 借鉴了操作系统的抢占式调度逻辑,短请求优先快速处理,长任务放到后台分步算,调度粒度控制在 10 毫秒以内。用户根本感觉不到自己被插队了,但整体并发吞吐直接翻了四倍。

回头想想前两年大家全在卷参数量,好像谁大谁牛。
但今年风向明显变了,落地成本才是命门。DSpark给我的感觉就是,别天天盯着H100、B200流口水了,先把手里那批A100、H800的油水榨干再说。

说到底,大模型真要大规模落地,推理成本这道坎绕不过去。DSpark至少给我们趟出了一条不用一直烧硬件的路,最关键的还是全面开源,懂得自然懂,开源协议宽松,个人学习、企业商用二次开发,我觉得这方向会给这个行业产生新的启发。

发布于 浙江