【#MiniMax M3 开源#】

MiniMax 日前正式宣布，已开源旗下多模态旗舰模型 MiniMax M3 的模型权重，并同步公开了 MSA（MiniMax Sparse Attention）技术论文。

MiniMax M3 总参数量 428B，激活参数 23B，官方将其定位为首个从训练第一步（Step 0）起便引入多模态混合训练的开源大模型。

训练阶段大量融入了文本、图像及多模态交错数据，以期在预训练阶段即构建统一的跨模态语义空间；MSA 架构的引入大幅降低了长上下文场景下的计算成本。

💻 Github: github.com/MiniMax-AI/MiniMax-M3

🤗 Hugging Face: huggingface.co/MiniMaxAI/MiniMax-M3