8月24日,小米正式发布全球首颗6nm晶圆级垂直堆叠AI加速芯片玄戒O100,带宽高达1.22TB/s,这颗把计算单元与内存晶圆“盖”在一起的芯片,让端侧AI第一次拥有了逼近服务器级HBM的带宽,也为移动端大模型体验打开了全新空间。


一、近存计算:从“绕远路”到“上下直连”
传统封装中,NPU与DRAM分离,数据搬运路径长,而玄戒O100采用Wafer on Wafer晶圆级堆叠,将1片6nm NPU计算晶圆与2层AI专用DRAM晶圆垂直键合,计算与存储像盖高楼一样叠在一起。
通过混合键合技术,数据连线从传统POP封装的96路扩展至28672路,实现近300倍的数据通路提升。
键合间距压缩至1.4微米,TSV硅通孔孔径仅0.7微米,258万个物理键合节点构成微观“高速电梯”。
二、带宽从77GB/s量级拉升至1.22TB/s
旗舰手机内存带宽普遍在77GB/s左右,玄戒O100给出1.22TB/s,是现有旗舰手机的近16倍。
该数值已超过HBM3单堆栈理论峰值819GB/s,并接近英伟达H100的水平。
创新F2F金属层直连结构搭配玄武高带宽矩阵总线,实现多核并行与动态路由,让数据通路不再“堵车”。
三、端侧大模型推理速度升至330 Tokens/s
此前NPU常因带宽不足而“空转”,玄戒O100通过近存计算让数据搬运时间大幅缩短,端侧推理速度最高可达330 Tokens/s,AI性能提升10倍。
本地运行3B级模型接近实时流式输出,无网弱网也能流畅运行,隐私性更好。
该芯片定位高带宽AI加速协处理器,计划明年商用,未来将落地手机、汽车、机器人等全生态品类。