且听Phone吟
26-09-10 21:15 微博认证:微博原创视频博主 数码博主 头条文章作者

高通官方刚刚发布了NPU的升级爆料。这次 Hexagon NPU 的升级,可以理解为三件事:算得更快、数据跟得上、模型跑得动。[并不简单]

(1)Element Accelerator 区分向量与标量单元,分别支撑大模型计算与智能体调度;共享内存扩容缓解长上下文压力。让AI一边记住更多信息、一边处理任务时不容易被内存访问拖慢。
(2)闪存加载 MoE,让 30B 规模模型有望在手机端运行。需要哪个“专家”就调哪个,而不是每次把整套模型都搬出来。
(3)此外,INT4 预填充性能最高提升 50%,推测解码也同步优化,让AI从理解提示词到开始给出结果的过程更利落。

随着 AI 手机加速落地,手机需要的不再只是调用模型,而是能够持续感知、自主决策并执行任务。从“手机能跑 AI”到“AI 能持续在手机上干活”,这可能才是新一代 Hexagon NPU 更值得关注的地方。[doge]#骁龙峰会#

发布于 北京