从GLM-5开始就是744B参数的模型了,一直用到GLM-5.3,训练了四代。
这个后训练打磨确实很有说法。
模型参数到了一定规模后,训练方法和数据质量,或许对模型来说更加的重要。
以前是盲目的堆参数和算力。
这是好事啊。硬件的需求并不是那么紧迫。
发布于 广东
从GLM-5开始就是744B参数的模型了,一直用到GLM-5.3,训练了四代。
这个后训练打磨确实很有说法。
模型参数到了一定规模后,训练方法和数据质量,或许对模型来说更加的重要。
以前是盲目的堆参数和算力。
这是好事啊。硬件的需求并不是那么紧迫。