#AI芯片# 【Groq收购Definitive Intelligence公司，或将进一步威胁英伟达地位】

2016 年，#谷歌# 张量处理单元 TPU 的发明者乔纳森·罗斯（Jonathan Ross），在美国加利福尼亚州山景城创建了一家名为 Groq 的 AI 芯片公司。

经过几年的发展，这家致力于生成式 AI 解决方案的企业，已经构建了旨在大规模实现低延迟、节能和可重复推理性能的 LPU 推理引擎，并希望实现这样一个使命，即创建 AI 经济，以让任何有绝妙创意的人都能使用并负担得起。

过去几天，这家长期以来一直处于隐身状态的公司，在互联网上引发较大的轰动。

Groq 基于自研 LPU 推理引擎，让 Mixtral 8x7B 等开源#大语言模型# 能够以几乎每秒 500 个 token 的速度运行，并在大多数基准测试中击败了以每秒 40 个 token 的速度运行的 GPT-3.5。（编者注：token 指的是 AI 训练过程中处理文本的最小单元。）

显而易见，如果推理速度像 LPU 这样快的芯片在今后变得越来越普遍，那么用户等待生成式 AI 缓慢输出内容的日子会逐渐消失。与此同时，Groq 的发展也将不可避免地为 GPU 芯片的霸主英伟达带来威胁。

戳链接查看详情：http://t.cn/A6YErFC3