量子位 25-02-26 17:38
微博认证:量子位官方微博

#英伟达开源优化版DeepSeek##英伟达亲自优化R1#

英伟达针对Blackwell架构,优化了DeepSeek-R1模型,而且还给开源了!

优化后的模型名为DeepSeek-R1-FP4,看名字就知道,它经过了FP4精度优化。

优化后,模型的推理速度提升了25倍,同时每个token的成本降低了20倍。

在Blackwell架构上使用TensorRT优化,使FP4版本的DeepSeek-R1,在MMLU基准测试中,达到了FP8版本99.8%的性能。

目前,该模型已在Hugging Face上线,开发者可以在自己的项目中轻松部署。

感兴趣的小伙伴可以点击:http://t.cn/A610AX91