“我制作了一个超级奇怪的 Qwen ！通过一个超级恶毒的过程将 Qwen3-8B 和 Qwen3-235-A22B 混合了！”
http://t.cn/A6sStV2u
简单来说是：拿一个巨大的 Qwen3 MoE 模型，将其中的专家网络（experts）合并成一个密集的层堆栈，使其宽度与 Qwen3-8B 匹配，然后将这些密集的 MoE 层块与 8B 模型的层块交错插入，从而创建一个更深的混合模型。验证这些“移植”过来的层块确实起作用，修复那些过于“活跃”的层，最终得到一个既更大又相对正常的模型。（合并后的参数大概为 14.5B）
#AI创造营##微博兴趣创作计划#