HuggingFace 生态版图史诗级加强了!

10小时前新闻, llama.cpp (ggml ai) 被 HuggingFace 收购了! 这样 HuggingFace 不但有 transformers 库这种大语言模型的基础架构, 而且还有 llama.cpp 这种最方便本地部署的开源推理引擎和 GGUF 量化生态.

github 讨论上说 ggml-org 的项目保持开源和社区驱动不变, ggml 团队继续全职领导和维护 ggml 和 llama.cpp.

其实回顾过去两年, HuggingFace 的工程师 (特别是 ngxson 和 allozaur) 已经为 llama.cpp 贡献了大量核心功能: 构建了带完善 UI 的推理服务器, 为 llama.cpp 引入了多模态支持, 将 llama.cpp 集成到了 HuggingFace 推理端点, 改进了 GGUF 文件格式与 HuggingFace 平台的兼容性, 还实现了多个模型架构. 所以这次合并更像是水到渠成.

同时官方团队透露未来重点有两个: 一是实现与 transformers 库的无缝"一键式"集成, 打通兼容性(训练+推理+量化+微调一站式方案); 二是改善 ggml 系软件的打包和用户体验, 让 llama.cpp 更好用 (这点不用怀疑, llama.cpp 本身就是C++实现的, 没CUDA都能跑).

如果担心未来 llama.cpp 向收费软件转变 (比如 Ollama 这种), 目前社区还有 llama.cpp 的高性能分支 ik_llama.cpp.

#HOW I AI##llama.cpp##ggml##HuggingFace##LocalAI##开源##AI推理#