kimi员工的熊狸的推文推测，Kimi k3应该也会走Kimi Linear的混合线性注意力架构了。
之前Qwen也是说要要押注线性注意力。
而Minimax还是走Full Attention路线。
[杰瑞]等看哪方胜出。
发布于 山东
蚁工厂 25-10-31 08:25
kimi员工的熊狸的推文推测，Kimi k3应该也会走Kimi Linear的混合线性注意力架构了。
之前Qwen也是说要要押注线性注意力。
而Minimax还是走Full Attention路线。
[杰瑞]等看哪方胜出。