GPU 需求
按量化方案和使用场景估算的显存 / 内存 / 磁盘
| 量化 | 最低配置 | 推荐配置 | 生产配置 |
|---|---|---|---|
| FP1616bit | 1012.1 GB RAM 1518.1 · Disk 1282.7 | 1060.1 GB RAM 1590.1 · Disk 1308.7 | 1121.8 GB RAM 1682.6 · Disk 1347.7 |
| FP88bit | 507.8 GB RAM 761.7 · Disk 660.8 | 532.9 GB RAM 799.4 · Disk 686.8 | 571.7 GB RAM 857.5 · Disk 725.8 |
| INT88bit | 507.8 GB RAM 761.7 · Disk 660.8 | 532.9 GB RAM 799.4 · Disk 686.8 | 571.7 GB RAM 857.5 · Disk 725.8 |
| AWQ4bit | 265.2 GB RAM 397.7 · Disk 361.6 | 279.2 GB RAM 418.8 · Disk 387.6 | 307.0 GB RAM 460.4 · Disk 426.6 |
| GPTQ4bit | 268.3 GB RAM 402.5 · Disk 365.5 | 282.5 GB RAM 423.8 · Disk 391.5 | 310.4 GB RAM 465.6 · Disk 430.5 |
| GGUF4bit | 274.6 GB RAM 411.9 · Disk 373.2 | 289.1 GB RAM 433.6 · Disk 399.2 | 317.3 GB RAM 475.9 · Disk 438.2 |
GPU 推荐
Best ValueBEST
8× H200 SXM
1128 GB VRAM
$20,440/月
≈ 74.3 tok/s
可用生产吞吐 ≈ 52 tok/s
score 0.2857
Performance
4× H200 SXM
564 GB VRAM
$10,220/月
≈ 55.7 tok/s
可用生产吞吐 ≈ 39 tok/s
score 0.4014
Min Complexity
2× H200 SXM
282 GB VRAM
$5,110/月
≈ 37.1 tok/s
可用生产吞吐 ≈ 26 tok/s
score 0.5426
💬 社区 —— 真实部署经验
0 文章 · 0 实测