感觉24G个人卡最长部署的模型就是qwen 3.8 27B了，各种优化层出不穷。🥹

HyperQwen，在一张 24G 卡上给 Qwen3.8-27B 开本地服务

Qwen AI Fans 把一张限在 250W 的 3090，写成能把千问 3.8-27B 在 vLLM 上开到 64 路，合计破一千 tok/s。仓库对得上这个合计，两档是分开测的。一个人聊，单路大约 127 tok/s，上下文默认到 6.4 万 token。改成给程序同时打，64 路解码加起来大约 1035 tok/s，这一档里的单路大约 46。帖子说的 15 万上下文要换档，速度掉到大约 95 到 100 tok/s。回答整段在复述提示词时，单人档能到 381 tok/s。第一次会先拉大约 9.5GB 镜像，再在本地重量化一次，模型大约 20GB。这些数来自一张当时还和训练任务挤在一起的 3090。

🔗 链接：http://t.cn/AXYMI9mN
💻 仓库：http://t.cn/AXWfv7ot
📄 模型：http://t.cn/AXNQagUY
📹 原帖视频：http://t.cn/AXYMI9mp