Qwen3-Next-80B-A3B 的 unsloth 版本 gguf 终于发布啦!这个模型终于可以在本地痛快的用了。我128G 的M2 Ultra 现在跑6bit 非常丝滑.
现在就等一波年底的 Next 架构大模型了,Next使用了门控注意力,这个还获得了今年NeurIPS最佳论文,估计年底的新架构大模型会有不错的表现。然后最好还是再来一个70-80B左右的中型模型方便大家本地用哈哈哈
地址:huggingface.co/unsloth/Qwen3-Next-80B-A3B-Thinking-GGUF
#ai生活指南##ai创造营##科技先锋官#
发布于 美国
