戴面具的布鲁斯
26-08-25 10:50 微博认证:数码博主 微博VLOG博主 微博原创视频博主 头条文章作者

#全球首个6nm晶圆级垂直堆叠芯片# 这颗mHBM移动端HBM芯片,说实话属于过于先进的那一档。

很多人聊端侧AI只盯着算力,却忽略真正卡脖子的是内存带宽。手机算力再强,数据传不过来,本地大模型依旧跑不痛快。小米WoW晶圆垂直堆叠直接把带宽拉到1.22TB/s,超过HBM3水准,达到现有旗舰手机的16倍,量级已经接近H100显卡。

把服务器级别的带宽能力落地移动端,这才是端侧大模型的底层根技术。之前大家都觉得这类技术只会出现在云端显卡,没想到第一个落地成品的居然是小米。

往后无网、弱网环境,手机本地跑超大参数模型不再是噱头,真正的端侧AI时代算是拉开序幕。

发布于 陕西