tombkeeper 26-03-15 14:42
微博认证:2025微博新锐新知博主 科技博主

刚才做了个实验,用一台老机器跑 Qwen 3.5。这台机器有 6G 显存,显卡是 GTX 1660 Ti,内存 32G,内存带宽大约 40 GB/s,跑 Qwen3.5-35B-A3B-Q4_K_M.gguf 输出速度可达到 21 t/s ~ 25 t/s。这个速度对家庭日常使用已经完全可接受了。

我做了一些定量和定性的测试,结果还是挺好的,包括我之前提过的编程测试任务(http://t.cn/A6uV0yUf)——这个测试甚至到今天国内仍有一家公司的最新模型还做不及格——只剩这一家,其它公司都可以了。

GTX 1660 Ti 现在只要 700 元。内存虽然涨价了,但两根 16G 的 DDR 4 也就 1400 左右。如果用疫情前的硬件就能跑出这样的效果,那么“家庭智能中心”这样的产品也就变得很现实了。 http://t.cn/AXVerbsO

发布于 北京