tombkeeper 26-04-30 20:54
微博认证:2025微博新锐新知博主 科技博主

Julien Chaumond 是 huggingface 的 CTO。前几天他分享了自己在飞行途中没有网络的时候用本地部署的大模型进行编程的体验。他的硬件是 MacBook Pro,AI 开发工具是 Pi,模型是 Llama.cpp 运行的 Qwen3.6 27B。

对使用本地部署的模型来说,选择合适的 AI 开发工具很重要。如果你选择 Claude Code 这种工具配合 30B 左右的模型用,体验就不会很好,以至于让你觉得本地模型根本不能用。Pi 的系统提示词比 Claude Code 小一个数量级,设计思路对中小模型也更友好。目前可能是用本地模型编程的最优选择。

发布于 北京