翠微山小山贼 26-04-07 11:12

【财通电子&新科技】算力大事周周看0407:看好技术迭代推动下的AI端侧落地趋势&国产算力的持续放量

海外云厂商在技术端持续更新迭代,有助于AI推理效率的提升

海外来看,谷歌推出了新型AI内存压缩技术“TurboQuant”,我们认为当前技术仍是处于比较早期的阶段,从适配角度来看,该技术目前仅在Gemma、Mistral等开源模型上验证,Gemini等谷歌核心模型的适配效果尚未公开,技术普适性仍需观察;同时,在相同硬件条件下,该技术可以支持4倍至8倍更长的上下文,或在不触发内存溢出的前提下显著提升批处理规模,可助力原本智能在云端集群上运行的模型迁移至本地,有效降低AI规模化部署的门槛,从而有助于AI端侧的场景落地。

25年国产算力市场份额约41%,持续向超节点方案推进

国内来看,25年国产GPU和AI芯片厂商向AI服务器市场交付165万张AI加速卡,市场份额约41%,其中华为占市场份额的20%,壁仞科技下一代BR20X芯片及全系列产品计划于26年正式推出,将推出基于BR20X系列的超节点方案,最大可以支持千卡规模集群scale-up。

发布于 山西