Jia-Bin Huang（美国马里兰大学帕克分校计算机系教授）的一个Kimi K3的技术解析视频。#微博视频号续航计划#

在K3发布之前，AI 行业很多人认为把MoE模型做到超大规模、超稀疏（专家多到成百上千）会让训练崩溃，而 Kimi K3 却靠 2.8 万亿参数、单层 896 个专家的极端稀疏设计成功了——这个视频就是讲它到底用什么"防崩溃"的技术（潜在混合专家、RMS 归一化、有界激活、分位数均衡）把训练稳定下来的。 http://t.cn/AXNTn14e