猩红线歌者 26-01-25 00:15
微博认证:微博新知博主 汽车博主

我不关心特斯拉到底是不是One Model,也不想讨论模型参数量多大算大,因为这里面全是推测和自定义,我只是感觉这哥们根本不知道自己在说啥。

拿HF上的模型和非车载芯片举例大家可能无感,我给一个汽车行业内可以参考的实际案例吧。以下信息均来自于理想官方信息。

理想在Thor-U芯片(700 Tops,64G DDR5X显存)上跑一个FP8/INT8量化的8x0.4B(官方宣称4B)的MoE模型才超过了10HZ,在双OrinX(508 Tops,64G DDR5显存)上跑的还是INT4量化的。

所以你跟我说特斯拉在HW4上36HZ跑的是FP8量化的MoE大模型?就因为HW4的16G显存是DDR6?[微笑]

发布于 湖北