快乐肥宅庆先森
26-09-01 20:34 微博认证:数码博主 头条文章作者

让AI自己考自己考了一下午,目前筛出来的最好的Qwen3.8 27B模型是这个
·L-TI模型性能接近Q6,但体积和占用比Q4KM还小,24G卡上可以实现拉满262144上下文(前提是你是5090LP或者有核显/亮机卡,扣去win11占用的2G之后就不够了)
·速度也快了近10%,44.5t/s vs 50.2t/s
·还有M-TI模型适配16G的卡,实际性能接近传统量化的Q4XS
·甚至还提供了可以让12G卡过把瘾的XXS,而且实测可能比豆包还靠谱点
*****这个模型作者同时做了适配核心需求的破限模型
唯一缺点就是上限就是跟Q6K对标的XL,还是没法跟Q8甚至BF16这种炸裂玩意相比,但部署BF16基本都得需要一张蛋卡了,跟99.99%的人都无关
强力推荐

发布于 山东