飞飞大玩家
26-08-15 01:46 微博认证:数码博主

晚间爆料称,字节跳动正在讨论训练一个参数规模超 5 万亿的模型,超过阿里的 Qwen 3.8-Max(2.4 万亿参数)和月之暗面的 K3(2.8 万亿参数),也是目前国内已知参数规模最大的模型。通常而言,模型规模越大,智能水平往往越高,不过该计划仍处于早期阶段。
消息称该模型将由 Seed Foundation 负责人项亮主导,与大语言模型预训练数据负责人沈科合作。二人均是字节跳动 AI 及大模型研发体系内的核心骨干,并出自字节的“搜广推”体系。
项亮本科毕业于中国科学技术大学,博士就读于中国科学院自动化研究所,2016 年加入字节,曾负责机器学习中台 AML 团队,后调任豆包大模型 Foundation 团队任负责人。沈科 2018 年清华毕业,同年加入字节,现主要负责 LLM 预训练数据。
IT之家从报道中获悉,多名字节跳动人士透露,上半年多个 Seed 团队已开始不断反思,而这也是字节讨论训练超 5 万亿参数模型的原因之一。其中一人直言,把参数规模一次推到同行的数倍来争取领先位置的举措“像一场赌博”。#王橹杰饭撒橹穆粉丝#

发布于 广东