爱可可-爱生活 25-12-18 07:40
微博认证:AI博主 2025微博新锐新知博主

现在你可以在手机上微调大型语言模型(LLM),并实现100%本地部署!Unsloth AI联合PyTorch推出了全新方案,支持将训练好的模型导出并直接运行在iOS和Android设备上。比如,Qwen3模型在Pixel 8和iPhone 15 Pro上能达到约40 tokens/秒的推理速度,真正实现了移动端的高效AI体验。

这意味着:
- 你的手机不仅是终端,更是训练和推理的完整环境,摆脱云端依赖,提升隐私安全。
- 未来可支持更多模型和多设备部署,甚至可以在手机集群中协同工作。
- 不仅限于文本生成,期待未来扩展到音乐生成等多模态模型。
- 量化和优化技术(如QAT)将进一步推动性能和效率的突破。

这项技术标志着AI向“边缘智能”迈出关键一步,让人人都能随时随地定制和使用强大的AI模型。想象一下:你手里的手机,既是AI助手,也是你的专属训练平台,真正实现了AI的个人化和隐私优先。

详细教程及技术支持请见:docs.unsloth.ai/new/deploy-llms-phone

发布于 北京