#英伟达开源优化版DeepSeek##英伟达亲自优化R1#
英伟达针对Blackwell架构,优化了DeepSeek-R1模型,而且还给开源了!
优化后的模型名为DeepSeek-R1-FP4,看名字就知道,它经过了FP4精度优化。
优化后,模型的推理速度提升了25倍,同时每个token的成本降低了20倍。
在Blackwell架构上使用TensorRT优化,使FP4版本的DeepSeek-R1,在MMLU基准测试中,达到了FP8版本99.8%的性能。
目前,该模型已在Hugging Face上线,开发者可以在自己的项目中轻松部署。
感兴趣的小伙伴可以点击:http://t.cn/A610AX91
