#今天要来点数学吗？# #人工智能[超话]# #数据压缩# 和 #高维几何#

前天Google Research隆重推出 TurboQuant：全新的压缩算法，可将 LLM 键值缓存内存至少减少 6 倍，并实现高达8x倍的加速，且精度零损失，重新定义 AI 效率。

阅读博客，了解其如何实现这些成果： http://t.cn/AXIhwIdu

它用到了我在2024年介绍过的Johnson-Lindenstrauss lemma http://t.cn/AXIhwId3

Johnson-Lindenstrauss引理说：如果你有天文数字般N个很大的向量，你总是可以将它们线性映射到一个维度低得多的空间，其维度约为 log (N)，使得向量之间的距离几乎保持不变。

换句话说，你可以在不显著影响数据几何形状的情况下大幅压缩数据。一个具有独立同分布标准高斯元素的随机矩阵很可能就能满足需求。

ps 据说就是因为这个，三星、SK海力士和美光等内存芯片公司的现在股票大幅下跌。

Google Research的研究人员在论文里对前代竞品RaBitQ给出了负面评价，而RaBitQ 的研发者在Google开发TurboQuant给与了技术上的支持，甚至有一说，Google的新论文有部分内容是直接来自RaBitQ，但是都没有标注引用。 http://t.cn/AXIzSHPt