微廷
26-11-08 08:20 微博认证:上海微廷信息技术有限公司官方微博

端侧芯片为什么越来越重要?

手机为何开始比谁能断网跑模型?云端更强更便宜,算力为什么还要往口袋里搬?端侧芯片抢的,到底是算力,还是入口的定价权?#微廷##微廷|微投研##AI芯片#

今年的手机发布会变了个比法。厂商不再只念跑分,而是当场断网,让手机跑一个模型给你看;参数表上多出一行"端侧模型支持",芯片页里那颗NPU被单独拎出来讲。一个过去藏在SoC里、只在跑分软件里出现的模块,忽然站到了台上。

奇怪的地方在于,云端明明更强。参数更大、迭代更快、单卡算力是手机的几百倍,为什么算力反而要往口袋里搬?

第一笔账是成本。云端推理按token计费,用户每问一次,厂商就要付一次钱。一台手机一天被唤醒几十次,一年下来这笔开销没有任何一家终端厂愿意长期补贴;用户也不肯为一个"每次都要联网"的功能单独订阅。端侧做法的巧妙之处,是把边际成本换成了沉没成本:芯片贵一次,之后每用一次几乎不再花钱。

第二笔账是时延。语音唤醒、通话翻译、辅助驾驶、工业质检,这些场景的共同点是不能等。网络往返几百毫秒,在需要即时反馈的地方就等于不可用。高通与阶跃合作的那套端侧方案给过一组直白的数字:三十亿参数的混合专家模型在手机上预填充每秒三百三十个词元,首个词元毫秒级生成,比调用云端接口快出数倍到数十倍。这不是实验室里的漂亮数字,它决定了功能是"能用"还是"好用"。

第三笔账是边界。摄像头拍到的是家里的客厅,手表测的是心率,车内麦克风收的是一整段对话。这些数据一旦上传,合规成本和用户信任成本都会陡增。让数据不出设备,很多功能才敢上线。苹果走的是端侧为主、必要时进私有云计算的路线;联发科则把隐私架构直接做进芯片,从硬件层做数据隔离与验证追溯。

但这三笔账只是把端侧推到了门口。真正让它值钱的,是模型真的变小了。稀疏架构让模型保持几十亿甚至上百亿参数规模,却只激活其中一部分;蒸馏和量化把模型压到极小内存里,还能保住大部分能力。三十亿参数的模型,如今已经能逼近过去八十亿参数的效果。硬件和算法在这里各让一步:芯片多给一点内存带宽,模型多用一点稀疏激活,双方一凑,大模型才装进了口袋。

瓶颈也随之换了位置。过去比的是TOPS,现在比的是装得下、跑得动。端侧大模型对内存带宽和容量极度敏感,存储在整机成本里的占比已经从约一成逼近三成,内存合约价出现两位数上涨。苹果新一代旗舰的内存成本从三十九美元涨到一百四十五美元,内存第一次成了整机最贵的部件。竞争焦点于是从堆算力,转向算力与存储的协同效率——谁能把权重高效地从闪存搬进内存、再把缓存调度好,谁的系统就更省电、更少卡顿。

需求侧同时在换挡。按IDC的预测,二零二六年全球生成式AI手机出货约四亿三千万台,AI PC渗透率首次过半;上半年AI眼镜出货同比增长两倍多,无屏产品占了绝大多数。更值得看的是结构:现在能本地跑模型的设备里,手机约占六成五,PC约两成,剩下的一成半落在物联网网关、机器人和边缘节点上。机器人是其中最极端的一例:它要一边走一边算,位姿和地图的偏差等不起云端回话,感知与决策只能压在本地。增量并不都来自最贵的旗舰。

IDC另一组数据把这件事说得更清楚:面向物联网、边缘终端与行业场景的中低端AI芯片,出货量同比增长超过一倍,整个端侧AI芯片市场增长七成八。这说明真正在放量的,是摄像头、门铃、工业质检设备、车载模组这些不开发布会的东西。它们对算力的要求不高,对功耗、成本、量产交付的要求极高。

这也解释了国产芯片的位置为什么突然显眼。云端训练是另一套游戏,拼的是先进制程、互联带宽和集群规模;端侧拼的是功耗、面积、内存带宽、工具链和两个月内量产的能力。规则不同,起跑线就不同。有厂商把视觉芯片从发布到规模量产压到六十天,靠的不是参数表,是把方案做成客户能直接抄的板子。这不是参数竞赛,是工程竞赛。

边界仍然要说清。端侧不是要替代云。信通院给出的架构是任务路由:端侧优先、云端优先、仅端侧,按任务复杂度、时延要求和隐私等级分配。端侧管实时、隐私和高频重复,云端管训练、复杂推理和罕见场景。把"端侧重要"讲成"云要退场",只是换了一种偷懒的说法。

所以,端侧芯片越来越重要,本质不是算力下放,而是AI的计价方式变了。它过去是按次调用的服务,现在正在变成一次买断的设备能力。服务比的是模型,能力比的是芯片。谁定义了这颗芯片,谁就定义了这个入口的价格。

友情提醒:投资有风险,决策需谨慎,本内容不对您构成任何投资与决策建议。

发布于 上海