llama.cpp 终于要砸 Ollama 饭碗了！

llama.cpp 是一个C++实现的大模型推理引擎，而ollama是在llama.cpp基础上套了个网页界面。当然 llama.cpp 之前也是有网页界面的，不过做得很简陋。但是今天迎来了大更新，给大家捋一捋：

首先多模态支持做得非常好了，图片，声音，PDF都可以输入了（还差个视频），然后支持混合输入，比如拖进去一个代码文件，再粘贴一段代码也是OK的。

PDF还可以实现转换，如果模型支持直接输入图片效果好可以把PDF转成图片。

界面上也支持修改之前的prompt然后重新生成，以及并行运行多个聊天（图片处理也可以并行）。

以及还有个我最喜欢的功能，url可以直接输入文本当作prompt查询。这个功能的好处是，可以直接在浏览器里 @ llamacpp 就能对话了(chrome 可以配置一下)，省去了再输入URL。

还有个最方便的功能——可以在设置里面指定一个JSON格式，然后大模型的输出就全是在这个JSON格式了！非常适合批量格式转换/数据清洗任务！

这还只是一小部分，更多细节见更新页面：github.com/ggml-org/llama.cpp/discussions/16938

总之我觉得可以淘汰掉其它大模型客户端了

#ai创造营##ai生活指南#