GPU 需求
按量化方案和使用场景估算的显存 / 内存 / 磁盘
| 量化 | 最低配置 | 推荐配置 | 生产配置 |
|---|---|---|---|
| FP1616bit | 940.4 GB RAM 1410.6 · Disk 1192.6 | 998.7 GB RAM 1498.0 · Disk 1218.6 | 1138.1 GB RAM 1707.1 · Disk 1257.6 |
| FP88bit | 472.7 GB RAM 709.0 · Disk 615.8 | 509.7 GB RAM 764.5 · Disk 641.8 | 627.8 GB RAM 941.8 · Disk 680.8 |
| INT88bit | 472.7 GB RAM 709.0 · Disk 615.8 | 509.7 GB RAM 764.5 · Disk 641.8 | 627.8 GB RAM 941.8 · Disk 680.8 |
| AWQ4bit | 247.6 GB RAM 371.4 · Disk 338.2 | 274.4 GB RAM 411.5 · Disk 364.2 | 382.3 GB RAM 573.4 · Disk 403.2 |
| GPTQ4bit | 250.5 GB RAM 375.8 · Disk 341.8 | 277.4 GB RAM 416.1 · Disk 367.8 | 385.5 GB RAM 578.2 · Disk 406.8 |
| GGUF4bit | 256.4 GB RAM 384.5 · Disk 349.0 | 283.5 GB RAM 425.3 · Disk 375.0 | 391.9 GB RAM 587.8 · Disk 414.0 |
GPU 推荐
Best ValueBEST
8× H200 SXM
1128 GB VRAM
$20,440/月
≈ 80.1 tok/s
可用生产吞吐 ≈ 56.1 tok/s
score 0.2846
Performance
4× H200 SXM
564 GB VRAM
$10,220/月
≈ 60.1 tok/s
可用生产吞吐 ≈ 42.1 tok/s
score 0.3991
Min Complexity
2× H200 SXM
282 GB VRAM
$5,110/月
≈ 40 tok/s
可用生产吞吐 ≈ 28 tok/s
score 0.5426
💬 社区 —— 真实部署经验
0 文章 · 0 实测