32号科技所
26-06-27 16:08 微博认证:科技博主

#DeepSeek发布DSpark#
刚刷到DeepSeek新出的DSpark,解决大模型推理慢、贵这个老问题真有一套!

平时用AI多了都能感觉到,多个人同时提问、写长代码文档,回复又慢服务器成本还高,根源就是模型只能一个词一个词慢慢生成。

DSpark换了新思路,先批量生成候选内容,再智能判断哪些文字靠谱、结合硬件负载灵活运算,实测最高能把吞吐翻4倍,而且不光自家模型能用,Qwen、Gemma这类开源模型也能直接适配。

简单说:同样的显卡,能扛更多用户、出内容更快,做AI产品的成本直接打下来,对开发者和普通用户都是利好,期待开源后实测效果!

发布于 北京