【英伟达200亿美金技术落地:Groq 3全面投产,低延迟推理时代开启】
英伟达此前斥资200亿美元收购的Groq技术迎来重大商业化进展。面向AI推理领域的Groq 3 LPX机架已正式全面投产,并计划于年内上线,这标志着全球AI算力博弈正式迈入低延迟推理的新阶段。
技术定位与核心性能
在架构分工上,作为Vera Rubin平台的专用推理加速器,Groq技术主攻超低延迟Token生成(解码阶段),彻底弥补了传统GPU架构在推理端上的短板。性能表现方面,单机架集成256颗LPU芯片,在10万Token的超长上下文环境下,输出速度高达每秒3400个Token,响应速度显著领先,达到竞品的4倍。在能效突破上,结合Vera Rubin NVL72,其每兆瓦吞吐量提升至上一代的30倍,单Token成本最高可降低35倍。
战略意图与商业重塑
根据黄仁勋的规划,英伟达拟将面向编程应用的数据中心空间中约四分之一分配给Groq芯片,全面构建GPU与LPU深度协同的异构算力生态。此外,低延迟特性也为云服务商打开了更高的溢价空间,使其能够针对延迟敏感型客户推出高阶服务套餐,实现商业变现效益最大化。
发布于 加拿大
