我简直不敢相信这竟然能运行,但我成功在树莓派 5(8GB 版本)上运行了 DeepSeek-V4-Flash(284B 参数),在全速推理时速度超过 1tok/s,功耗约 ~8W!它使用了 @antirez 的 GGUF 的未修改副本。花了 5 天时间进行了 160 多次实验,期间在 GPT-5.5 xhigh 和 Opus 4.8 max 之间切换。
发布于 北京
我简直不敢相信这竟然能运行,但我成功在树莓派 5(8GB 版本)上运行了 DeepSeek-V4-Flash(284B 参数),在全速推理时速度超过 1tok/s,功耗约 ~8W!它使用了 @antirez 的 GGUF 的未修改副本。花了 5 天时间进行了 160 多次实验,期间在 GPT-5.5 xhigh 和 Opus 4.8 max 之间切换。