8月24日小米玄戒技术沟通会上,专为端侧大模型打造的高带宽AI加速芯片玄戒O100正式亮相,其1.22TB/s的超高带宽达到传统旗舰手机的16倍,现场原型机实测端侧推理速度最高可达330 Tokens/s,一举打破端侧AI的带宽瓶颈。

一、硬件架构突破:突破内存墙瓶颈
行业首发6nm晶圆级垂直堆叠:玄戒O100采用Wafer on Wafer工艺,配合Hybrid Bonding混合键合技术,将内存晶圆与NPU计算晶圆垂直堆叠,键合间距仅1.4μm,打通直达计算核心的高速数据通道。
1.22TB/s超高带宽:通过258万个物理键合节点,实现16倍于传统旗舰手机的传输带宽,从底层解决大模型推理时的数据搬运效率问题。
先进AI近存计算架构:14核NPU与内存垂直互连,配合自研高带宽矩阵总线,实现多核并行处理与动态路由,端侧AI计算提速10倍。

二、端侧实测性能:推理速度惊人
330 Tokens/s峰值速度:在运行小米MiMo-3B端侧大模型场景下,玄戒O100实现了业界领先的端侧推理速度,远超当前旗舰手机芯片的表现。
原型机实测295 Tokens/s:搭载玄戒O3主SoC与O100协处理器的技术原型机,取消影像模块、加入10W主动风冷散热,现场实测每秒生成约295 Tokens,响应几乎零延迟。
本地运行隐私无忧:所有推理均在端侧完成,无需联网即可快速响应复杂任务,既保障数据隐私,也摆脱了对云端的依赖。
三、生态部署前景:从手机走向全场景
双芯协同架构:由玄戒O3负责系统调度与基础运算,O100独立承接高强度端侧大模型推理负载,实现算力最优分配。
覆盖人车家全生态:玄戒O100未来可应用于手机、智能汽车、机器人等全品类设备,为小米“人车家全生态”提供统一的端侧AI算力底座。
商用时间表明确:玄戒O100预计2027年正式商用,届时将大规模多产品线落地应用。