小李的-飞刀
26-07-20 07:21 微博认证:财经博主

SemiAnalysis:Kimi K3的KDA机制提高注意力效率,但将需要更多的GPU、HBM、DRAM和网络,而非更少。Kimi K3的线性注意力引发对硬件需求的短期担忧,但SemiAnalysis指出,其超2.8万亿参数与大规模推理架构,反将加剧对高端GPU、HBM及高速互联的需求。专家并行设计推高芯片间通信压力,而线性注意力带来的成本下降,或借杰文斯悖论(效率提升刺激应用扩张)推动AI规模化落地,长期支撑基础设施持续增长。

发布于 广东