Scalers 26-04-19 11:04
微博认证:作家,著有《刻意学习》

我上周帮一个朋友在电脑上装了Ollama,他现在本地跑模型,不花一分钱订阅费,笔记、总结、分析全在自己机器上跑。他问我:为什么没人告诉他这个。

Ollama今年Q1月下载量破5200万次。这个数字说明一件事:本地跑AI,已经不再是技术圈极客的专属玩法了。

为什么越来越多人开始转向本地AI?

成本。
ChatGPT Plus每月140元,Claude Pro更贵。本地跑模型,硬件一次性投入,后续零成本。对每天高频用AI的人来说,一年省下的钱是真金白银。

隐私。
你往ChatGPT里粘贴的内容,愿意让OpenAI看到吗?工作文件、客户资料、私人笔记,本地模型数据不出自己的机器。

稳定性。
不依赖网络,不受服务器限速,响应速度完全取决于本地硬件。

现在能跑什么?

Ollama支持一键下载运行各种开源模型,包括Llama 3、Qwen 2.5、Mistral等,安装一行命令搞定。配合AnythingLLM,可以在本地搭出完整的知识库问答系统,把自己的文档、笔记、资料全部喂给AI,变成私人知识助手。

配置门槛也没想象的高。有一块8GB以上显存的显卡,或者16GB以上内存的Mac,就能跑出不错的效果。M系列芯片的MacBook目前是本地AI体验最好的设备之一。

从"租用别人的AI"到"拥有自己的AI",不只是成本问题,是主动权问题。

当你的AI工作流完全跑在自己的机器上,对工具的掌控感和使用深度,会和靠订阅用工具完全不同。

#AI实践# #效率工具# #个人生产力#

发布于 北京