林亦这期拿到一台联想YOGA Pro 15 RTX Spark，128GB统一内存，专门拿来测本地AI，本地智能体、AIGC创作挨个跑了一遍。
本地跑大模型为什么大家最在意内存。推理分两步，prefill先把你的问题读一遍，decode再一个token一个token往外吐，每吐一个都要把权重和KV cache反复读一遍，所以最吃的是内存容量和带宽。笔记本独显的显存一般就8G、16G，稍大点的模型根本塞不进去，统一内存是CPU和GPU共用一大块，128G一起用，能装的模型一下就大了。
再配上量化，16位压到8位甚至4位，同样的内存还能再塞更大的模型。本地跑的好处也很实在，token不花钱，数据不出电脑，智能体想挂多久挂多久。
笔记本卷完屏幕卷芯片，下一轮就是卷内存了

视频来源于B站作者:林亦LYi

#热点聚焦#,#微博视频精选大赏# http://t.cn/AXj1VV4W