【海外算力】据报道,OpenAI研发出了一种将推理成本降低一半的新方法。同时所需英伟达芯片数量也有所减少。OpenAI 可能利用这些节省下来的资金来降低 API 定价或增加用户查询限额。
据传,OpenAI 正在开发或者考虑公开一套适配性更强的软件,可以让 AI 工作负载同时运行在英伟达、AMD 等不同品牌的芯片上,以此打破英伟达 CUDA 生态的垄断绑定。
【半导体-存储】据报道,Meta开发了一项名为“Vistara”的内存复用技术,可将旧服务器拆下的DDR4内存重新接入新服务器,和 DDR5 内存按照 3:1 的比例搭配使用。用这套方案改造分离式推理服务器,最多能降低 25% 的成本。
——OpenAI降低GPU芯片成本,Meta降低内存成本,都在降低上游算力成本。这个事的性质类似2025年一季度的DeepSeek,因为其算力成本大幅低于国外大模型,引发英伟达大跌,因为市场担心英伟达需求会因此下降。
但事后看,提高效率带来的算力成本降低,反而进一步扩大了算力的总需求,这就是杰文斯悖论。
发布于 辽宁
