awesome科技
26-10-04 22:08 微博认证:数码博主

骁龙8 Elite Extreme Gen 6彻底解决了端侧AI的两大痛点:记不住、跑不快。通过将NPU共享内存扩容50%,最多32K token上下文可驻留片上,告别频繁读写主存的卡顿耗电;新增的Element Accelerator专为Transformer预填充加速,INT4模型下提速50%。更关键的是,它让300亿参数MoE模型首次在手机端流畅运行——每次仅激活30亿参数,配合Ember引擎,内存占用降超50%。实测预填充吞吐330 Token/s,解码28 Token/s,毫秒级响应。这意味着你的手机智能体能独立完成从理解需求到调用工具的全流程,数据不出设备,隐私安全且体验丝滑。这哪是芯片升级,分明是给手机装了个会思考的大脑! http://t.cn/AXWnkyZ2

发布于 江西