多云Me
26-10-20 21:38

#曝DeepSeek今年底用华为升腾预训练#倘若属实,那么看点就在“预训练”三个字上。

国产卡跑推理早就不新鲜,预训练则是另一个量级的考试:几千上万张卡连续跑几周,任何一张卡掉线、任何一次通信卡顿,都可能让整轮训练回滚。单卡性能差一截,可以靠堆规模来补;集群稳定性差一截,就很难补。

去年就有报道过,DeepSeek 曾尝试用昇腾训练新模型时遇到困难,最后训练回到英伟达,推理留在昇腾。这次如果真把预训练搬到昇腾 950DT 上,说明这道坎,至少有人敢再跨一次。

更值得注意的是合作方式:模型团队的训练需求,反过来写进下一代芯片的设计定义。谷歌的TPU和Gemini,就是这样互相磨出来的。芯片和模型从买卖关系走向联合设计,这才是国产算力最缺、也最需要的东西。

发布于 陕西