【DeepSeek-R1推理本地跑,7GB GPU体验啊哈时刻?GRPO内存暴降,GitHub超2万星】
李飞飞团队仅用16张H100训了26分钟,训出的模型就超越了o1-preview,震动业内。可以说,DeepSeek-R1已经让全球AI模型走向了推理新时代。甚至利用其训练方法GRPO,AI开源界开始了竞赛:看谁能用最少的成本,复现AI的「啊哈时刻」。
而就在刚刚,DeepSeek-R1的推理成本彻底被打下来了!开源项目Unsloth AI带来了好消息,不用云服务,本地也能体验「Aha」 时刻:
现在可以在本地设备上复现DeepSeek-R1的推理!
只需7GB VRAM,你就能体验到「Aha」时刻。
Unsloth把GRPO训练需要的内存减少了80%。
15GB VRAM就可以把Llama-3.1(8B)和Phi-4(14B)转变为推理模型。
http://t.cn/A61vKnJ0
