发推特还是有点用的,Karpathy老在那里发推特。
这不,黄仁勋给Karpathy送了一台DGX Station GB300。
这台机器的FP4性能可达20PFLOPS,可以跑1T参数的大模型。
DGX Station GB300使用的是GB300芯片,处理器是72核心的Grace,有252GB HBM3e显存,带宽8TB/s,内存496GB LPDDR5X,带宽396GB/s。
这样,显存+内存就有748GB了,FP4的精度,再加上大模型往往是MOE,完全跑得动。
这样Karpathy就不用老是搞一些小模型来跑了,后面的教育项目应该会更好。
你看,还得发推特,发微博不行,我发这么多微博,别说国内厂商送我机器了,连吉祥物和文化衫都没有。
发布于 江苏
