【捡垃圾凑出32G显存：200镑魔改服务器显卡跑本地大模型】

玩本地大模型，所有人都会卡在显存带宽和容量的阴阳两隔里。买消费级显卡，24G的4090价格直接上天；退一步买Mac，内存是够大，但那点算力在Prompt预处理（Prefill）阶段慢得像在用Pentium III。

博主提供了一个极具解释力的解法：去eBay花150镑淘一块2017年的英伟达数据中心淘汰货——Tesla V100 SXM2。这卡当年值一万刀，虽然连普通的PCIe接口都没有，但它自带16G的HBM2高带宽内存。什么概念？它的内存带宽比2022年的4080高出22%，甚至把苹果刚出的M5 Max按在地上摩擦。大模型推理的瓶颈根本不是核心算力，而是显存带宽，这块过气卡恰好把技能点全加在了刀刃上。

花50镑买张山寨转接板塞进游戏机箱，再用两块钱的跳线把那台82分贝、能把人吹耳鸣的工业风扇接到主板PWM控速上，全套200镑搞定。配上原有的4080，32G总显存直接合体。跑Qwen3.6-27B这种开源顶流模型，速度达到32 tokens/s，评测直接平替闭源的Claude Sonnet 4.6。

这事儿的本质在于，大模型硬件的底层逻辑已经被开源社区暴力拆解了。企业捂着专利和高昂的API收费，而极客们在用极低的硬件折旧成本实现平权。5到10年后，现在那帮独角兽烧出来的万亿数据中心大概率也是这个按斤卖的下场。

blog.tymscar.com/posts/v100localllm/