这几天，怎么好多人都在玩这个本地跑大模型的项目？
strata，Qwen3.8-Flash-Next 125B的模型，8GB显存起步的游戏卡就能跑。
12GB显存，项目方说能跑到90 tokens/秒，有人实测说是30多。
我还是觉得生产环境，本地部署大模型，不堪大用，可以玩玩。
项目地址：github.com/Niko1221/Strata
发布于 江苏
挨踢牛魔王