闪迪CTO表示，受AI大模型、KV缓存、MoE混合专家模型驱动，全球AI竞争正式进入“拼内存”阶段。
一方面大模型迭代升级需要更大内存容量，另一方面KV缓存、MoE架构虽能优化算力效率，却大幅提升内存消耗，各大科技企业对内存的长期采购需求空前旺盛。
发布于 广东
作手柳白
闪迪CTO表示，受AI大模型、KV缓存、MoE混合专家模型驱动，全球AI竞争正式进入“拼内存”阶段。
一方面大模型迭代升级需要更大内存容量，另一方面KV缓存、MoE架构虽能优化算力效率，却大幅提升内存消耗，各大科技企业对内存的长期采购需求空前旺盛。