梁圣刚刚开源了DeepSeek的推理框架,这个对供给市场是很大的利好,之前DeepSeek的模型有个问题是,虽然本身是开放权重的,可以任你部署,但你部署后怎么调都做不到官方API那么便宜的价格,这让很多云厂商不太愿意卖DeepSeek的模型,因为竞争不过DeepSeek自己的API渠道。
现在DeepSeek把私藏的内部推理框架DeepInfer也挂到GitHub去了,而且明确说了这个东西就是DeepSeek实现模型定价效率的关键,属于自己出血给市场补贴了,品格高尚。
按DeepSeek在知乎发的技术解释,这个推理框架帮助自己拿到了每卡每小时38美金的收入,横向对比,B200的租金回报率是每卡每小时10美金左右,还是那句话,这是DeepSeek写给云厂商的一封炙热情书。
发布于 山东
