Bonsai Demo 是一套极简而强大的本地大模型运行方案，它把 1-bit 与 Ternary 两类 Bonsai 模型全部打包，让你用最小的资源在 Mac、Windows、Linux 上跑通 27B 级别的多模态推理。

项目同时提供 llama.cpp 与 MLX 两种后端，支持视觉问答、原生工具调用、思考模式切换，以及长达 256k 的上下文。所有依赖一键脚本即可完成，包括模型下载、环境搭建和 Open WebUI 界面启动。

GitHub：github.com/PrismML-Eng/Bonsai-demo

主要功能：
- 极致量化：1-bit Bonsai 与 Ternary-Bonsai 分别支持 1.125 与 1.7 bits/weight，27B 模型可直接在 iPhone 上运行；
- 多模态输入：支持图片、截图、PDF 的视觉理解与 OCR；
- 智能体能力：原生 OpenAI 风格工具调用，内置 MCP 服务器与代码解释器；
- 思考模式：可按需调节推理预算（512~无限制 token），兼顾速度与深度；
- 一键部署：setup.sh / setup.ps1 自动完成依赖安装、模型下载与二进制构建，支持 CUDA、Metal、Vulkan、ROCm 等后端；
- 多尺寸可选：27B、8B、4B、1.7B 四档模型可随时切换。

无论你是想在消费级硬件上本地部署大模型，还是探索极低比特量化的前沿实践，Bonsai Demo 都能提供完整、可复现的解决方案。