行者人间君子
26-08-07 10:10 微博认证:娱乐博主

#字节讨论训练国内最大模型#据媒体消息,字节跳动Seed团队正在探讨研发一款超5万亿参数大模型,体量将超越阿里、月之暗面现有超大基座,有望成为国内已知规划规模最大的大模型。不过项目尚处在早期论证阶段,方案未最终敲定,未来未必正式对外发布。

该项目由Seed负责人项亮牵头,联合预训练数据负责人沈科推进,团队正在调整内部架构、统筹算力资源。内部思路认为,与其持续跟进现有量级渐进追赶,不如直接拉高参数规模,尝试建立技术领先优势。

张一鸣在内部会议明确表态,反对依靠模型蒸馏换取短期榜单成绩,主张坚持原生预训练,看重长期底层技术突破,可以接受短期阶段性落后。

超大模型训练意味着巨额算力、数据成本投入,业内也将其视作一场高风险尝试。参数规模不直接等同于实用能力,还会带来推理成本高、落地困难等现实难题。

国内大模型竞赛进入新阶段,字节此举折射行业思路分化。究竟选择追求极致规模,还是侧重均衡实用,后续项目推进走向,将持续影响国内基座模型发展格局。

发布于 安徽