二大爷永远是二大爷
25-01-26 07:55 微博认证:汽车博主 超话主持人(特斯拉超话)

#特斯拉[超话]##新星闪光计划# #ai创造营# 什么叫专业的敏感性?

前两天老马发了自己试用Int4格式的Grok 3(http://t.cn/A63XigL6),正常关注本地运行神经网络模型的,都应该知道,这就是要用到本地运行设备了。

这两天,有个老外将Deepseek R1(680B参数量)经过4位量化之后也部署到了本地设备(3台M2)。效果相当不错。用别人的评论讲,分钟级模型。

这个4位量化,就是老马用的Int4,老马家FSD,用的则是Int8。这个量化程度和车机压力你们自己比较比较。

我的意思,这个或许说明了一个趋势:大模型本地化。

说回老马家的Grok 3,会不会部署到非车机的本地设备呢?当然有可能,不过,这是个极小概率事件。

关于Int4和Int8对于本地运行大模型(包括FSD这种大模型,只不过它不是LLM,而是自动驾驶神经网络大模型)的重要性,给了个直白的解释,见附图。

发布于 天津