#Kimi K3参数达2.8万亿#
参数规模：总参数量达2.8万亿（2.8T），是目前全球首个迈入3万亿级别的开源模型，大幅刷新了全球开源模型的参数上限。
架构设计：采用Stable Latent MoE稀疏架构，包含896个专家模块，每次推理仅激活16个，在保障庞大知识容量的同时有效控制计算成本。
上下文与多模态：原生支持100万（1M）token超长上下文窗口，并内置视觉理解能力，可一次性处理百万字文档、完整代码库或长篇资料。
自研底层技术：引入Kimi Delta Attention (KDA) 混合线性注意力机制，使百万token场景解码速度最高提升6.3倍；结合Attention Residuals (AttnRes) 技术，以不足2%的额外成本提升约25%的训练效率。 http://t.cn/AXKR6mRX