部分显卡是实测，部分是扒拉网上数据，仅供参考，不负责任。

目前十几种常见型号显卡的ds部署速度，看看你的在哪个档位？（7B模型为准，单位:tokens/s）

1，RTX5090 32G

约40左右

2，RTX4090 24G

约32左右

3，RTX4080 16G

约22左右

4，RTX4070Ti Super 16G

约18-20

5，RTX4070Ti 12G

约15-18，且从12G显存开始仅支持7B-Q4以下模型

6，RTX4070Super 12G

约14-16

7，RTX4070 12G

约12-14

8，RTX4060Ti 16G

约10-13，但有个好处是大显存能运行16G版本7B

9，RTX4060Ti 8G

显存不足，8G开始仅支持1.5B/7B-Q2，速度约8-10

10，RTX4060 8G

7B-Q2约7-9

11，RTX3060Ti 8G

老架构效率较低，7B-Q2模型约5-7

12，AMD RX6750GRE 12G

通过llama.cpp运行7B-Q4模型约6-8 tokens/s（效率为NVIDIA同级的60%）。

13，AMD RX 7900XT 20G

大显存支持32B-Q4，速度约12-15 tokens/s，但依赖OpenCL后端优化

14，Intel A770 16G

实测通过OpenVINO框架运行7B-Q4模型约8

15，intel A750 8G

7B-Q2约4-6

16，intel B580 12G

约5-7

所以目前还是英伟达显卡的天下，所有的架构与优化大都是针对N卡的，这也导致了目前N卡的价格居高不下。又发生了一次市场与玩家抢显卡的热潮，上次发生还是上次[二哈]目前性价比非常高的卡有4060Ti 16G，4070Ti super 16G，7900XTX 24G（优势是大显存）

暂时显卡价格很难降下来，如果是之前买了电脑的朋友就有福了。