【15B以下本地模型怎么选？一场硬核实战讨论】

最近LocalLLaMA社区有一场关于小参数模型选型的讨论，信息密度很高，值得一看。

起因是一位用户想在Mac mini M4（16GB统一内存）上跑本地模型，需求是：Agent能力、推理、数学、通用知识。候选名单包括Ministral 3 14B、Gemma 3 12B、Qwen 3 14B、GPT-OSS 20B。

先说一个扎心的现实：有经验的用户直言，指望15B模型在没有MCP或编排管道的情况下达到满意效果，基本是做梦。正确的做法是明确目标，针对不同任务选择不同模型，配合RAG、工具调用等管道编排，才能找到甜蜜点。

关于硬件限制，16GB统一内存默认分配给显存的只有约10.6GB，实际能跑的模型规模有限。12B模型配4bit量化是比较稳妥的选择。

讨论中最亮眼的是一位用户分享的深度对比：他重度使用过Qwen 3 14B和GPT-OSS 20B，结论是Qwen 3 14B在对比下像个玩具。

具体数据：GPT-OSS 20B可以在16GB显存上跑130K上下文，输出速度约60 t/s；而Qwen 3 14B在40K上下文时勉强能到45 t/s。他用GPT-OSS 20B从零构建了一个超过40K token的复杂代码项目，模型能准确理解全部代码并协助添加新功能。相比之下，Qwen 3 14B在20K token左右就开始力不从心。

一个实用技巧：GPT-OSS 20B支持Low/Medium/High三档推理模式，如果觉得思考时间太长，可以试试Low模式。

另一位用户花了80小时测试各种模型和客户端组合，最终结论是：真正能用的最小方案是Devstral Small 24B Q6_K配合Mistral 3 4B做推测解码，在Mac Studio M2 Ultra 64GB上能达到20 t/s和40K上下文。但这已经超出15GB的限制了。

MoE模型也被多次提及。Qwen3 30B A3B系列（包括Coder/Thinking/VL版本）可以通过将专家层卸载到CPU来运行，有用户在32GB内存+8GB显存的配置上跑Q4 VL模型，12K上下文能达到24 t/s。

其他被推荐的模型包括：Apriel-1.5-15B-Thinker（有用户认为benchmark表现突出）、Phi Reasoning、RNJ-1 8B（在24GB Mac上可跑满32K上下文）、LFM2-8B-A1B等。

最后一个建议很有价值：与其纠结选哪一个模型，不如考虑模型集成——用多个小模型链式调用，各司其职，效果往往比单一模型更好。

小模型时代的生存法则：认清硬件边界，善用编排管道，别指望一个模型包打天下。

reddit.com/r/LocalLLaMA/comments/1q9u07d/which_is_the_best_model_under_15b