爱可可-爱生活
26-10-04 10:35 微博认证:AI博主 2025微博新锐新知博主

【DwarfStar 4:在本地跑前沿开源大模型】Redis之父antirez开源的ds4(DwarfStar 4)是个很纯粹的C语言端侧推理引擎,专为大内存Mac、CUDA与ROCm平台打造。它不做通用的全面妥协,专门针对DeepSeek V4/V4.1 Flash、GLM 5和Qwen 3.8等大模型做端到端调优。技术上用非对称2-bit量化精准压缩MoE路由专家,同时保留核心共享路径精度,让数百亿乃至两千多亿参数的模型能在本地设备上真正落地。KV缓存能按前缀哈希持久化到SSD,服务重启无需重复Prefill。一套引擎同时打通了交互CLI、原生Agent及兼容OpenAI与Anthropic的本地API,能直接接入Claude Code或OpenCode写代码。github.com /antirez/ds4

发布于 上海