华为天才少年黄青虬:假设数据质量无限高,再简单的模型也能训出很好的结果
数据依然是重中之重!
模型的本质,其实是做信息的压缩、模态的转换,模型的能力上限,取决于参数量。大家对模型架构所做的改进,其作用更多的是在提高模型吸收数据的效率,对模型的能力上限影响相对低。而效率是能够用更多的数据、更长的训练时间弥补的。
发布于 重庆
华为天才少年黄青虬:假设数据质量无限高,再简单的模型也能训出很好的结果
数据依然是重中之重!
模型的本质,其实是做信息的压缩、模态的转换,模型的能力上限,取决于参数量。大家对模型架构所做的改进,其作用更多的是在提高模型吸收数据的效率,对模型的能力上限影响相对低。而效率是能够用更多的数据、更长的训练时间弥补的。