GPU 需求
按量化方案和使用场景估算的显存 / 内存 / 磁盘
| 量化 | 最低配置 | 推荐配置 | 生产配置 |
|---|---|---|---|
| FP1616bit | 1758.0 GB RAM 2637.0 · Disk 2200.9 | 1853.4 GB RAM 2780.2 · Disk 2226.9 | 2030.0 GB RAM 3045.0 · Disk 2265.9 |
| FP88bit | 881.5 GB RAM 1322.2 · Disk 1119.9 | 937.1 GB RAM 1405.6 · Disk 1145.9 | 1073.8 GB RAM 1610.7 · Disk 1184.9 |
| INT88bit | 881.5 GB RAM 1322.2 · Disk 1119.9 | 937.1 GB RAM 1405.6 · Disk 1145.9 | 1073.8 GB RAM 1610.7 · Disk 1184.9 |
| AWQ4bit | 459.7 GB RAM 689.5 · Disk 599.7 | 496.1 GB RAM 744.1 · Disk 625.7 | 613.6 GB RAM 920.5 · Disk 664.7 |
| GPTQ4bit | 465.1 GB RAM 697.7 · Disk 606.5 | 501.8 GB RAM 752.7 · Disk 632.5 | 619.6 GB RAM 929.4 · Disk 671.5 |
| GGUF4bit | 476.1 GB RAM 714.1 · Disk 620.0 | 513.3 GB RAM 769.9 · Disk 646.0 | 631.6 GB RAM 947.3 · Disk 685.0 |
GPU 推荐
Best ValueBEST
8× H200 SXM
1128 GB VRAM
$20,440/月
≈ 42.7 tok/s
可用生产吞吐 ≈ 29.9 tok/s
score 0.337
Cheapest
8× A100 80GB
640 GB VRAM
$7,008/月
≈ 18.2 tok/s
可用生产吞吐 ≈ 12.7 tok/s
score 0.4539
Performance
4× H200 SXM
564 GB VRAM
$10,220/月
≈ 32 tok/s
可用生产吞吐 ≈ 22.4 tok/s
score 0.4348
Min Complexity
4× H200 SXM
564 GB VRAM
$10,220/月
≈ 32 tok/s
可用生产吞吐 ≈ 22.4 tok/s
score 0.4348
💬 社区 —— 真实部署经验
0 文章 · 0 实测