定焦数码 24-01-16 09:24
微博认证:数码博主 微博原创视频博主 头条文章作者

我曾经预言过,大模型会成为24年的“兵家必争之地”,现在算是应验了…华米OV耀族兴,全都在上大模型,实打实的效率提升。

我给出新的判断:苹果手机不会上端侧大模型(起码短期内),主要原因就是端侧大模型是比较吃空间的,在int4的量化級別下,7B模型大概圧到3.5G内存,按PDDR5xQ带宽计算,支持10-12 token/s的速度。

安卓手机运存至少是8G起步,主流也达到了12GB RAM,7B模型至少是跑得动的。考虑到苹果运存很小,加载一个3.5G的大模型在后台,苹果手机的运存彻底吃不消。

发布于 广东