中关村科学城
26-07-02 09:44 微博认证:中关村科学城管理委员会

【全国首个!依靠国产算力完成训练推理,万亿参数大模型发布】6月30日,美团正式发布新一代基础大模型LongCat-2.0,这是国内首个依靠国产算力完成训练推理全流程的万亿参数大模型。

据悉,LongCat-2.0采用MoE(混合专家模型)架构,总参数规模1.6万亿,每个Token激活参数约480亿,原生支持1M超长上下文,可一次处理百万字级输入。值得一提的是,LongCat-2.0全程在国产算力上完成训练,峰值规模超过5万张国产算力卡,是迄今为止国产算力上完成的最大训练任务。同时,由于算力优化、技术突破等综合因素,LongCat-2.0的训练、推理成本消耗,低于全球其他万亿参数级别的大模型。LongCat官方宣布,将于近期在多平台同步开源Infra框架、推理引擎、模型参数等核心技术,回馈全球开发者社区。[赞][赞][赞]http://t.cn/AXobC1wv #科技最前沿##我国布局太空算力##科学城中事#