各位有没有想过一个未来，用AI coding agent，llm模型聊天不再需要烧token呢？其实有很多开源模型可以自己部署的，问题是开源模型很大，而且需要被finetune才能使用一下。很多人的电脑配置都没有好到可以顺畅地运行这些开源模型。现在我们做出了目前在 16GB 内存的 MacBook 上能跑得最快、最好用的本地编程模型:每秒输出 40 多个 token;350 亿参数,经过三值量化压缩后只占 8.3 GB;在 SWE-bench Verified(一套真实编程题的评测)上做对了 56%,相当于 GPT-4.1 的水平;而且完全离线,不联网也能用。同时我们的手机应用已通过苹果审核，两周内上架。

www.llmsforall.com/blog/millie-cli

我会在thread和X上天天分享一些微调本地模型的知识点，有兴趣下载我们的模型玩玩和一起讨论学习的话可以进这个discord 群 discord.gg/WG2C6MBHd