阑夕
26-09-13 14:43 微博认证:逐鹿网(www.zhulu.com)创始人 长文原创作者 2024微博年度新知博主

晚点LatePost那期讲模型蒸馏的播客其实还蛮有料的,比如字节的部分。

张一鸣不让Seed蒸馏,同时允许暂时落后,是有野心和抱负的,以字节的体量而言,必然要和万亿美金级别的巨头平起平坐。

所以张一鸣不接受蒸馏这种无限逼近教师模型而无法真实超过的路线,虽然部分从业者并不认同。

因为理论上,蒸馏只是训练模型的手段之一,你完全可以同时也在其他方面做出创新,蒸馏出90分,在别的地方再拿20分,加起来未必不能超过教师模型。

只是张一鸣担心的是,这会带来组织上的依赖和代价,「他可能不是最懂技术的人,但他大概率是最懂人性的人。」

果不其然,在张一鸣这么公开表态后,Seed很快就又走了几个人,站在这些人的角度,也有很充足的理由,这一代年轻人的职业生涯,是有限的,字节耗得起,但我耗不起,在我最黄金的年龄,如果不能在字节这边尽快拿出自己的代表作,会非常亏。

而蒸馏就是最主流的速胜打法,只要上了前沿模型的贡献者名单,身价就会不讲道理的暴涨,既然字节在短期内给不了这个机会,就别怪良禽择木而栖了。

字节也在组织上设法克服不蒸馏的困难,包括成立了和Seed同级的数据部门,解决高质量数据的来源问题。

发布于 浙江