【昇腾A2芯片立功!华为首次公开美团LongCat-2.0部署细节:推理仅20ms】华为CANN团队首次公开美团1.6万亿参数大模型LongCat-2.0在昇腾A2芯片上的完整部署方案,该模型是业界首个全程基于国产算力完成训练推理的万亿参数大模型,实测TPOT时延仅20ms,标志国产算力已可承载万亿级大模型推理任务。
发布于 北京
【昇腾A2芯片立功!华为首次公开美团LongCat-2.0部署细节:推理仅20ms】华为CANN团队首次公开美团1.6万亿参数大模型LongCat-2.0在昇腾A2芯片上的完整部署方案,该模型是业界首个全程基于国产算力完成训练推理的万亿参数大模型,实测TPOT时延仅20ms,标志国产算力已可承载万亿级大模型推理任务。