分享一篇专访：Groq CEO挑战Nvidia：2024年底，多数初创公司将使用LPUs，而不是GPU
看了这么多年商业科技故事，有一个很明确的结论，哪里有超额的收益，哪里就有蜂拥的竞争者，无论现在看起来新的竞争的胜率多么的低（谁能在10年前想象阿里巴巴的市值会被另外一家电子商务公司拼多多超过）。今天我发了《连线》对黄仁勋的专访，其中也谈到了Groq的竞争。黄不觉得Groq会对英伟达形成有效的竞争，但是黄并不轻松，因为他知道，即使不是Groq，也会也有其他人出现，突然在一夜（表面看起来是一夜之间，其实对手已经在多年前就蠢蠢欲动，暗度陈仓了）颠覆现有的商业模式、商业生态（颠覆式创新）。

我觉得Groq最有意思的一点，是它瞄准了一个利基市场，AI推理，然后在这个场景实现了一个很重要的特色：快快的速度。无论Groq是否能取得最终的成功，但是起码它有一个清晰的角色。不过问题是，Groq所谓的快速，是基于针对LLMs的优化之上的，它是否太过狭窄，而丧失了通用性。而英伟达的GPU则实现了通用的专用（并行加速）。
欧拉。

最后，Groq是一个2016年就成立的公司（OpenAI成立于2015年）。所以这正是我想强调的：“你突然听见蝉鸣，但是你并不知道它在地下蛰伏了多久”。

**
AI芯片竞争：Groq首席执行官挑战Nvidia，声称到2024年底，大多数初创公司将使用高速LPUs

来源：venturebeat.com
作者：莎朗·戈德曼
（sharongoldman on X）

大家都在谈论Nvidia令人瞠目结舌的收益结果——较一年前增长了整整265%。但不要忽视Groq，这家位于硅谷的公司正在为大型语言模型（LLM）推理（对现有模型进行决策或预测，而不是训练）开发新的人工智能芯片。上周末，Groq突然迎来了大多数初创公司梦寐以求的病毒式时刻。

当然，这并不像埃隆·马斯克（Elon Musk）关于完全无关的大型语言模型Grok的帖子那样在社交媒体上引起轰动。但我相信Nvidia的人们在Matt Shumer，HyperWrite的首席执行官，在X上发布关于Groq的“疯狂技术”的帖子后会注意到，该技术以“接近500 tok/s”的速度为Mixtral提供“几乎即时”的答案。

Shumer在X之后进行了一次公开演示，展示了一个“闪电般快速的答案引擎”，能在不到一秒钟的时间内提供“几百个字的事实性、引用的答案”——突然间，似乎AI领域的每个人都在谈论并尝试Groq的聊天应用程序，用户可以在其网站上选择由Llama和Mistral提供的输出。

这是在一个星期前的CNN采访中，Groq的首席执行官兼创始人Jonathan Ross展示了Groq为一个“打破速度记录”的音频聊天界面提供动力。

尽管目前没有任何公司能够挑战Nvidia的主导地位 - Nvidia在高端芯片市场上占据了80%以上的份额；其他人工智能芯片初创公司如SambaNova和Cerebras在人工智能推理方面仍未取得多大进展；Nvidia刚刚宣布第四季度收入达到220亿美元 - Groq的首席执行官兼创始人Jonathan Ross在接受我的采访时表示，推理的高昂成本使得他的初创公司的产品成为一种“超快速”，更便宜的选择，专门用于LLM。

在一个大胆的声明中，罗斯告诉我：“到年底，我们可能会成为大多数初创公司使用的基础设施”，并补充说：“我们非常支持初创公司 - 联系我们，我们会确保你支付的费用不会像其他地方那样高。”

一、Groq LPUs与Nvidia GPUs
Groq的网站将其LPUs（即“语言处理单元”）描述为“一种新型的端到端处理单元系统，为具有顺序组件的计算密集型应用程序提供最快的推理，例如AI语言应用程序（LLMs）”。

相比之下，Nvidia的GPU优化了并行图形处理，而不是LLMs。由于Groq的LPUs专门设计用于处理数据序列，如代码和自然语言，它们可以通过绕过GPU或CPU难以处理的两个方面（计算密度和内存带宽），更快地提供LLM输出。

此外，关于他们的聊天界面，Ross声称Groq与OpenAI等公司不同的另一个方面是，Groq不训练模型，因此不需要记录任何数据，可以保持聊天查询的私密性。

ChatGPT如果由Groq芯片提供动力，预计运行速度将提高13倍以上，那么OpenAI是否有可能成为Groq的合作伙伴？Ross没有具体说，但Groq音频聊天界面的演示版本告诉我，如果有互惠互利的情况下，他们“有可能合作。OpenAI可能有兴趣利用LPUs的独特能力进行语言处理项目。如果他们有相似的目标，这可能是一个令人兴奋的合作伙伴关系。”

二、Groq的LPUs真的是AI推理的游戏改变者吗？
我本应在几个月前与罗斯交谈，自从公司的公关代表在12月中旬联系我，称Groq是“准备赢得人工智能竞赛的美国芯片制造商”。我很好奇，但从未有时间接听电话。

但现在我肯定抽出时间：我想知道Groq是否只是快速发展的人工智能炒作周期中的最新参与者，即“只需要公关关注”？Groq的LPUs是否真的是人工智能推理的游戏改变者？在过去的一周里，对于Ross和他的200人小团队（他们称自己为“Groqsters”）来说，经历了一次特定的技术硬件成名后的生活是怎样的？

舒默的帖子是“引爆导火索的火柴”，罗斯在从巴黎一家酒店的视频通话中告诉我，他刚刚与Mistral团队共进午餐——这家法国开源LLM初创公司在过去几个月里已经享受到了自己的多个病毒式传播时刻。

他估计，在舒默发布帖子的24小时内，有超过3000人联系Groq寻求API访问，但他笑着说：“我们没有设置计费，所以不会向他们收费。目前我们只是让人们免费使用。”

但是当涉及到在硅谷运营初创企业的方方面面时，罗斯并不是一个新手——自从Groq成立于2016年以来，他一直在大力宣传该公司技术的潜力。通过快速的谷歌搜索，可以找到一篇2021年的福布斯报道，详细介绍了Groq筹集了3亿美元的资金，并且罗斯帮助发明了谷歌的张量处理单元（TPU），然后在2016年离开谷歌创办了Groq。

在Groq，Ross和他的团队构建了他所称的“非常不寻常的芯片，因为如果你正在构建一辆汽车，你可以从引擎开始，也可以从驾驶体验开始。而我们从驾驶体验开始——在设计芯片之前，我们花了前六个月的时间研究编译器。”

三、满足对Nvidia GPU的需求已经成为一个大生意了
正如我上周报告的那样，满足对Nvidia GPU的广泛需求已成为AI行业中的大生意，而这在去年夏天是硅谷最热门的话题。

它孕育了新的GPU云独角兽（Lamda、Together AI和Coreweave），而前GitHub CEO Nat Friedman昨天宣布他的团队甚至创建了一个针对GPU集群的Craigslist。当然，还有《华尔街日报》的报道，OpenAI CEO Sam Altman希望通过重塑AI芯片的世界来应对需求——这个项目可能耗资数万亿，并且有复杂的地缘政治背景。

罗斯声称，目前在GPU领域发生的一些事情实际上是对Groq所做的事情的回应。“这是一个小小的良性循环，”他说。例如，“Nvidia发现主权国家是他们正在做的一件大事，而我正在进行为期五周的巡回访问，试图与一些国家达成一些交易……当你在外面的时候你看不到这些，但有很多事情都在跟随着我们。”

他还大胆地反击了奥特曼提出的筹集高达7万亿美元的大规模人工智能芯片项目的努力。“我只想说我们可以用7000亿来完成它。”他说，“我们很实惠。”

他补充说，Groq还将为AI芯片的供应做出贡献，拥有充足的产能。

“到今年年底，我们肯定会拥有每秒2500万个令牌的容量，这是我们估计OpenAI在2023年底的水平，”他说。“然而，我们正在与各国合作部署硬件，以增加这个数字。就像阿联酋和许多其他国家一样。我来欧洲是有原因的 - 有各种各样的国家对此感兴趣。”

但与此同时，Groq还必须解决一些普通的当前问题 - 比如在公司上周的病毒式事件之后让人们为API付费的问题。当我问罗斯是否打算解决Groq的API计费问题时，罗斯说：“我们会研究一下。”他的公关代表也在电话中迅速插话：“是的，这将是我们的首要任务之一，乔纳森。”