对 GLM-5.3 的真实评价。
时隔两个月,GLM-5.3 来了。
从今天大家的反馈来看,效果确实非常不错。我感觉智谱这一年,应该是找到了一条非常清楚的路径来继续优化模型能力。
而且这次出乎所有人的意料。按照智谱 Release Blog 的说法,GLM-5.3 相比 GLM-5.2,基座模型没有变,模型参数也没有继续增加,但能力仍然有不小的提升。
这些提升,全部来自后训练。
智谱这家公司真的非常神。从学术起家,创始人也是国内大模型圈里最学术的,感觉所有对大模型技术路线感兴趣的同学,都值得认真看他们的 Model Card。
这两年,其实所有大模型公司主要都在两个地方下功夫。一个是继续做 Pre-training Scaling,另一个就是越来越重要的 Post-training Scaling。
两边大家其实都在做,只是不同公司、不同阶段的侧重点不一样。
先说 Pre-training Scaling。
这条路我们其实非常熟悉,一个最直观的表现,就是模型还在越做越大。比如 Kimi K3,直接把总参数做到了 2.8T。字节的模型据说也要奔着 10 万亿去。
模型参数大概已经成了每次大模型发布时,大家最喜欢问的问题之一。
但其实参数量从来都不是一个可以单独看的数字。至少还要一起看几件事:你有多少训练数据、多少算力,以及这个模型最后要在什么样的条件下运行。
2020 年,OpenAI 的 Jared Kaplan 等人发表了一篇后来影响非常大的论文《Scaling Laws for Neural Language Models》。
很多人今天讨论大模型的 Scaling Law,都会追溯到这篇论文。
它当时给行业一个很强的信号:随着算力增加,模型规模还可以继续往上做,而且参数量可以比训练数据增长得更快。
整个行业很快就沿着这个方向往前走。
于是有了 GPT-3 的 175B、Gopher 的 280B,以及后来的 MT-NLG 530B。那几年大家最直观的感受就是,模型越大,能力通常也越强。
到了 2022 年,DeepMind 又重新研究了一遍这个问题。
他们训练了四百多个不同规模的模型,最后发现,之前大家其实有点过于追求参数量了。
在同样的算力预算下,与其把参数一味做大,不如把更多算力拿出来,让模型看更多数据。
他们最后给出了一个很有名的经验值:大约每一个参数,配 20 个 Token 的训练数据。并且应当以相同的速率增长,也就是说这个配比不随规模漂移。
随后 DeepMind 训练出了 Chinchilla。它只有 70B 参数,远小于 280B 的 Gopher,但用了 1.4T Token 来训练。
结果在差不多的训练算力下,Chinchilla 不仅超过了 Gopher,也超过了当时很多参数规模大得多的模型。http://t.cn/AXNROgJK
