karminski-牙医 25-10-28 09:00
微博认证:AI博主

注意啊,DGX Spark 可能又有噩耗了!

之前没发售的时候我就跟大家说过,这玩意内存带宽有问题,虽然有1PFLOPS FP4 浮点性能,但是内存带宽只有273GB/s 跑大模型会很卡,大概只有 MacStudio M2 Ultra 的1/3.

今天又传来噩耗,浮点算力也没有 1PFLOPS.....

两位大佬—— John Carmack (id Software的创始人, Doom等游戏的开发者, 作为码农应该都听过他的快速倒数平方根算法传说) 和 Awni Hannun (Apple 大模型框架 MLX 的主要负责人)测试都表明,这玩意只有 480 TFLOPS FP4 性能 (约合 60TFLOPS BF16), 不到宣传性能的一半....

以及,如果长时间跑,还会过热重启.... 讲道理, 我的 M2 Ultra 24小时有个大模型在里面跑着, 稳定运行快一年了...

目前暂不确定是供电还是固件或者CUDA啥的导致的问题,还是的确SoC就是这么拉... 希望老黄赶紧修修吧,内存带宽拉起码是大家期望过高而你黄某人刀法精准,但是性能不符合宣称就是你良心大大的有问题了

所以, 买了 NVIDIA DGX Spark , Gigabyte ai top atom, ASUS Ascent GX10 等机器的老铁们, 建议都测一下, 看是不是的确性能有问题。

#ai创造营# #ai生活指南#

发布于 日本