端侧推理达330Tokens/s，#全球首个6nm晶圆级垂直堆叠芯片#推升本地大模型效率。
以往在移动终端运行AI大模型时，受限于传输带宽，常面临能跑但响应较慢的问题。8月24日发布的玄戒O100端侧AI加速芯片，通过底层架构创新，将端侧推理速度提升至每秒330Tokens，让本地对话、实时翻译和大模型处理获得了更高的运行效率。
这一性能的提升，依托于其采用的端侧AI近存计算架构。玄戒O100是全球首个在6nm制程下实现晶圆级垂直堆叠（Wafer on Wafer）的芯片。它将通孔尺寸缩至0.7微米，pitch做到1.4微米。其提供的1.22TB/s内存带宽，相当于现有旗舰手机的近16倍，能够持续为AI计算提供充沛的数据传输支持，减少了端侧任务对云端响应和网络环境的依赖。作为面向AI Agent时代的重要技术探索，玄戒O100将于明年正式投入商用。http://t.cn/AXppJFXB