哦吼,有老哥买了拆车件的Thor-U并破解之,我们终于可以知道这玩意的实际性能了!
700T算力有没有骗人?答案是没有,但实际算力估计要砍半——因为测到的非稀疏NVFP4格式算力,是691.7T;但是辅助驾驶模型谁敢用FP4这么低精度的格式啊,起码都是FP8甚至FP16,这么一来,实际可用峰值算力得到350T往下
但是至少打脸了一群250天天叫的什么——“Thor吹的都是稀疏算力”
然后UP主拿几款终端,包括Thor、DGX Spark、Orin都跑了下千问小模型(27B和35B算小吧......)
结果却非常不乐观——Thor压根没体现出来对Orin的代际差距
优势最大的项目,是开了MTP的35B A3B模型(35B参数量,激活3B),Thor-U生成速度只有71.5/s,Orin居然有57.4/s
难怪Thor-U刚出来的时候,大家哀嚎遍野,说对比Orin压根没提升;而且目前所有Thor-U的车型,都没有体现出模型能力碾压Orin车型,甚至还可能被反杀(比如MMT的Orin模型)
不过在MiniMax H3 视频生成项目上,Thor-U倒是大幅领先3倍以上——26:02 vs 80:17(但 Orin 用的是 W4A8/W4A4、Thor-U 用 NVFP4,有可能后者数据格式占便宜)
我感觉真的有点奇怪,Thor-U的GPU价格是比较新的Blackwell,CPU 也都是超大核,内存带宽也不低啊,为啥对Orin就很难有提升呢?
难怪华为、地平线这种软硬合一的供应商,业务开展的如火如荼;新势力自研芯片下单那叫一个欢实,甚至还要外卖
发布于 广东
