现阶段数据和硬件成了影响开源与闭源之间差距重要因素!
训练万亿参数模型需要大量的高端芯片,高端芯片和高端的存储都掌握在AI巨头手中,缺少了这些硬件的支持,开源模型的训练和能做的实验就越少,这个直接就影响了开源模型的迭代。
闭源大模型采用的训练数据都是企业内部的数据,这些数据企业长期积累下来的的纯净的数据,开源模型往往依赖公开网页,数据量大但是庞杂,需要消耗消耗更多的成本来清洗数据,数据的质与量,直接决定模型的知识密度和推理能力。#AI创造营##算力##科技先锋官#
发布于 山西
