郑纬民院士在一场论坛上对国产算力中心、大模型训练和推理系统等做了演讲，有不少干货，我总结了几点给大家参考：

1、基础大模型，中国跟美国比还是差一点。但是大模型的应用，中国有希望超过美国。
2、大模型训练的数据预处理，几乎占到了训练时间的一半，非常长，已经成了训练的瓶颈。
3、大模型有五个过程，数据获取、预处理、训练、微调、推理。五个过程都需要算力、存储，都很费时间。
4、中国的超算系统便宜，在上面训练大模型价格只有英伟达的六分之一。
5、构建国产万卡系统很重要也很难，因为人家不卖给我们，只能建国产万卡集群。
6、不同的GPU卡混合使用效果极差。异构卡、异地卡训练效果都不好。