英伟达正在研发新一代开源大模型Nemotron 4,其旗舰版本目标参数规模至少达到1万亿(1 trillion),约为此前发布的Nemotron 3 Ultra的两倍。
一、Nemotron 4的核心参数与定位
目标参数规模:据多名项目员工透露,Nemotron 4系列中规模最大的基础模型预计至少拥有1万亿个总参数,约为今年6月发布的Nemotron 3 Ultra(5500亿参数)的两倍。
当前进度:模型架构和训练数据已有初步方案,但最关键的一轮训练尚未开始,最终规格与发布时间仍可能调整。"万亿参数"代表研发目标,暂不能视为已完成的成品。
开源定位:英伟达已组建Nemotron Coalition联盟,汇聚Mistral AI、Cursor、Perplexity等成员共享数据与算力,共同推动该开源前沿基础模型的开发。
二、同步发布的配套产品
Nemotron 3.5 Lightning:英伟达在8月11日先行发布了一款300亿总参数(激活参数约30亿)的轻量级MoE开源模型,可在单块消费级GPU上运行,专为高频AI智能体执行层设计,输出速度最高达同类模型的4倍。
NeMo Switchyard路由工具:同样免费开源,可在不同模型之间自动调度任务,简单任务交给小模型、复杂任务分配大模型,帮助企业降低整体推理成本。
三、英伟达的战略意图
以模型拉动硬件销售:英伟达的核心逻辑并非靠模型收费,而是通过开放顶级开源模型,吸引更多企业训练、微调和部署AI,从而带动GPU、网络、服务器和企业软件的采购需求。
应对竞争与分散客户风险:当前英伟达收入高度集中于少数大客户,而AWS、谷歌、AMD等正在加速开发替代芯片。通过开源生态,英伟达希望将算力需求扩散到更多中小企业和行业客户,形成更分散、更稳定的需求结构。
全栈压力测试:亲自训练前沿模型,能让英伟达更早发现芯片显存、互联、推理调度等瓶颈,并将优化成果直接写入下一代GPU和软件库。