踏浪揽财 26-03-26 09:09
微博认证:投资内容创作者 财经观察官

#美股存储板块集体走弱#
昨晚,美股存储板块集体走弱,是因为有个利空。

昨天谷歌研究院发布了 TurboQuant 压缩算法。核心能力:将大模型的 KV Cache 压缩至 3-bit(原通常为 16-bit 或 32-bit);内存占用缩小 超过 6 倍;在 H100 GPU 上推理速度提升 最高 8 倍。无需重新训练或微调模型,可直接部署。

TurboQuant并非简单"节省内存",而是通过极致压缩与效率优化,重新定义了AI推理的经济模型:
短期:提升单卡吞吐,支持更长上下文与更大批量;
长期:效率提升反而刺激需求增长(杰文斯悖论);
经济价值:降低单次查询成本,使AI服务更易盈利,推动本地化部署与规模化落地。

这一技术正在成为AI基础设施效率升级的关键推手,尤其在大模型推理与向量搜索领域具有深远影响。#财经#

发布于 北京