GPU 需求
按量化方案和使用场景估算的显存 / 内存 / 磁盘
| 量化 | 最低配置 | 推荐配置 | 生产配置 |
|---|---|---|---|
| FP1616bit | 294.8 GB RAM 442.2 · Disk 396.4 | 323.7 GB RAM 485.5 · Disk 422.4 | 433.8 GB RAM 650.7 · Disk 461.4 |
| FP88bit | 149.9 GB RAM 224.8 · Disk 217.7 | 172.2 GB RAM 258.3 · Disk 243.7 | 275.7 GB RAM 413.5 · Disk 282.7 |
| INT88bit | 149.9 GB RAM 224.8 · Disk 217.7 | 172.2 GB RAM 258.3 · Disk 243.7 | 275.7 GB RAM 413.5 · Disk 282.7 |
| AWQ4bit | 80.1 GB RAM 120.2 · Disk 131.7 | 99.3 GB RAM 148.9 · Disk 157.7 | 199.6 GB RAM 299.4 · Disk 196.7 |
| GPTQ4bit | 81.0 GB RAM 121.5 · Disk 132.8 | 100.2 GB RAM 150.4 · Disk 158.8 | 200.6 GB RAM 300.9 · Disk 197.8 |
| GGUF4bit | 82.8 GB RAM 124.3 · Disk 135.1 | 102.1 GB RAM 153.2 · Disk 161.1 | 202.6 GB RAM 303.9 · Disk 200.1 |
GPU 推荐
Best ValueBEST
4× H200 SXM
564 GB VRAM
$10,220/月
≈ 193.9 tok/s
可用生产吞吐 ≈ 135.7 tok/s
score 0.3163
Cheapest
8× RTX 4070S Ti
128 GB VRAM
$396/月
≈ 0 tok/s (N/A — benchmark unavailable)
可用生产吞吐 ≈ 0 tok/s
score 0.5449
Performance
8× H200 SXM
1128 GB VRAM
$20,440/月
≈ 258.5 tok/s
可用生产吞吐 ≈ 181 tok/s
score 0.2197
Min Complexity
1× H200 SXM
141 GB VRAM
$2,555/月
≈ 80.8 tok/s
可用生产吞吐 ≈ 56.6 tok/s
score 0.6588
💬 社区 —— 真实部署经验
0 文章 · 0 实测
单卡可运行的 GPU
H200 SXM
141 GB VRAM
$2,555
/月 · lambda
B200
180 GB VRAM
$3,013
/月 · vast
B200 SXM
180 GB VRAM
—