梁赛 26-03-17 09:06
微博认证:AI博主

英伟达刚刚发布LPU
英伟达的新武器:LPU推理芯片

去年12月,英伟达花200亿美元把Groq收了,看中的就是他们的LPU(Language Processing Unit)技术。

核心价值:
GPU擅长训练,但推理有瓶颈(延迟高、能耗大)
LPU专门优化推理流水线,和GPU配合干活
解决了"低延迟"和"高吞吐"不能兼得的老问题
NVIDIA Groq 3 LPX的硬指标:
每兆瓦推理吞吐量提升35倍
万亿参数模型营收潜力提升10倍
256个LPU处理器/机架
128GB片上SRAM + 640TB/s带宽
全液冷设计,无缝集成到Vera Rubin AI工厂

工作原理:
LPU和Vera Rubin GPU协同计算,每一层每个token都一起算,大幅提升解码性能。多个LPU可以像一个巨型处理器一样工作,实现确定性推理加速。

适用场景:
万亿参数模型 + 百万token上下文。这是之前GPU单打独斗做不到的。

产能:
目前三星代工,下一代可能转台积电。未来GPU(Feynman架构)可能直接整合Groq处理器。

上市时间:今年下半年。

发布于 广东