直接上结论吧:SRAM需求拉开爆表
大爷上次刚吹谷歌,巴菲特就公开持仓。
大爷又刚吹SRAM,英伟达就公开收购。
这到底是什么样的运气,还是略带什么样的实力。
大爷这次再次强调一下,同样也要给足够的重视。
与依赖外部高带宽内存(HBM,High Bandwidth Memory)的传统 GPU 不同,Groq 的 LPU 采用了片上集成大容量静态随机存取存储器(SRAM,Static Random-Access Memory)的方案,其 230MB 的片上 SRAM 能提供高达 80TB/s 的内存带宽,这使其数据处理速度远超 GPU 方案。
其云服务因惊人的推理速度而闻名,在运行如 Mixtral、Llama 2 等开源大模型时,每秒可输出约 500 个 tokens,远超传统服务的响应速度,同时其每百万 tokens 的价格也极具竞争力。
Groq 的愿景是明确的:在一个 AI 推理需求即将远超训练需求的时代,通过其创新的 LPU 架构,为市场提供一个高效、低成本且可规模化的推理基础设施新选择。
黄仁勋写道:“我们计划将 Groq 的低延迟处理器集成到英伟达 AI 工厂架构中,扩展该平台以服务于更广泛的 AI 推理和实时工作负载。”
发布于 北京
