姜博杨 26-04-13 18:52
微博认证:艺术家 2021年度微博最具商业价值新锐大V 科技博主 微博原创视频博主

#国产龙虾本词元消耗省50%#最近看到龙虾技术的消息,有个点还挺有意思的,就是把大模型推理过程里的本词元消耗直接压降约50%。

很多人可能对本词元消耗没啥概念,其实可以理解为AI运行时最核心的「算力燃料」。消耗越少,意味着同样能力下,推理成本更低、响应速度更快、端侧部署更容易、设备本地AI能力更强。

这背后其实是一条很关键的路线变化,过去大家拼的是模型参数规模,现在越来越多厂商开始拼推理效率工程能力。

而且这类优化优先是在PC端侧AI场景里体现价值。相比云端可以持续堆算力,终端设备的资源始终有限,本词元效率提升,本质是在给端侧AI腾空间。

如果这类优化持续推进,未来不少原本依赖云端完成的能力,也可能慢慢往本地迁移一些。对响应速度、稳定性,还有隐私体验来说,都会是比较实际的提升方向[并不简单]#荣耀发布自研YOYOClaw龙虾技术#

发布于 浙江