AI破壁仁er
26-05-07 16:58 微博认证:AI博主

看到一篇新智元的爆文《00后小哥在客厅完成基因组测序》,讲的是一个小哥在Claude帮助下在自家客厅独立完成了基因组测序。

不过让我印象最深的是这小哥的AI装备:M3 Ultra芯片的Mac Studio 和 DGX Spark。

Mac Studio 我知道,让我好奇的是这个 DGX Spark ,基于之前对英伟达的印象,似乎是DGX平台的某种AI终端?

然后就去闲鱼看了一下,这一看不得了!不到3w块钱,就能搞到几乎全新的、128G内存+4TB硬盘的版本!问了下Kimi老师,能本地部署70B的模型,这要是搞一台,不就直接实现了Token自由??

此时我突然想到一个问题:现在RTX5090 32G的显卡,闲鱼上也在3w左右。假如说这个 DGX Spark 比5090强那么多,为啥价格却差不多?

此事必有蹊跷!

于是我让K老师更全面地分析一下,不只是从模型的部署方面,还要包含部署后的使用效果,推理速度等等。结果发现, DGX Spark 这东西的显存带宽,只有大约 273 GB/s,RTX 5090 的显存带宽是它的 6.5 倍![允悲]

这意味着,在跑35B这种甜点模型的时候,DGX Spark 是远远不如5090 的[捂嘴哭]没想到老黄在这块儿偷偷砍了一大刀[泪奔]

只能说,AI算力这玩意还真就跟金钱同比例,“一分钱一分货”体现的淋漓尽致[无聊]

#how i ai##AI#

发布于 北京