【字节跳动拟训练超5万亿参数模型,或成国内规模最大】
8月6日,据《晚点 LatePost》报道,字节跳动正讨论训练一个参数规模超5万亿的大模型。这一规模将远超阿里的Qwen 3.8-Max(2.4万亿参数)和月之暗面的K3(2.8万亿参数),成为国内已知参数规模最大的模型。
核心信息:计划由Seed Foundation负责人项亮主导,与大语言模型预训练数据负责人沈科合作。计划仍处早期阶段,最终不一定会发布。决策源于Seed团队反思:与其在现有尺寸上追赶,不如一次将参数规模推到同行的数倍以争取领先。两周前的Seed全员会上,张一鸣明确表态反对模型蒸馏,认为这只是在复制已有能力,无法实现真正超越。他同时安抚团队不必过度焦虑,可接受一段时间内落后,目标直指世界第一梯队。
观察:字节跳动正试图用“规模换时间”的策略,在国内大模型竞赛中实现弯道超车。张一鸣“不蒸馏”的表态,标志着字节从跟随者向引领者角色转变的决心。
#字节跳动 #大模型 #5万亿参数 #张一鸣 #Seed
发布于 北京
