GPU 需求
按量化方案和使用场景估算的显存 / 内存 / 磁盘
| 量化 | 最低配置 | 推荐配置 | 生产配置 |
|---|---|---|---|
| FP1616bit | 56.8 GB RAM 85.2 · Disk 102.9 | 74.9 GB RAM 112.3 · Disk 128.9 | 174.2 GB RAM 261.2 · Disk 167.9 |
| FP88bit | 30.9 GB RAM 46.3 · Disk 71.0 | 47.8 GB RAM 71.7 · Disk 97.0 | 145.9 GB RAM 218.8 · Disk 136.0 |
| INT88bit | 30.9 GB RAM 46.3 · Disk 71.0 | 47.8 GB RAM 71.7 · Disk 97.0 | 145.9 GB RAM 218.8 · Disk 136.0 |
| AWQ4bit | 18.4 GB RAM 32.0 · Disk 55.6 | 34.8 GB RAM 52.1 · Disk 81.6 | 132.3 GB RAM 198.4 · Disk 120.6 |
| GPTQ4bit | 18.6 GB RAM 32.0 · Disk 55.8 | 34.9 GB RAM 52.4 · Disk 81.8 | 132.4 GB RAM 198.7 · Disk 120.8 |
| GGUF4bit | 18.9 GB RAM 32.0 · Disk 56.2 | 35.3 GB RAM 52.9 · Disk 82.2 | 132.8 GB RAM 199.2 · Disk 121.2 |
GPU 推荐
Best ValueBEST
1× H100 SXM
80 GB VRAM
$1,170/月
≈ 315.1 tok/s
可用生产吞吐 ≈ 220.6 tok/s
score 0.6054
Cheapest
4× Tesla V100
64 GB VRAM
$39.7/月
≈ 0 tok/s (N/A — benchmark unavailable)
可用生产吞吐 ≈ 0 tok/s
score 0.544
Performance
8× H200 SXM
1128 GB VRAM
$20,440/月
≈ 1445 tok/s
可用生产吞吐 ≈ 1011.5 tok/s
score 0.2197
Min Complexity
1× RTX A6000
48 GB VRAM
$210/月
≈ 72.2 tok/s
可用生产吞吐 ≈ 50.5 tok/s
score 0.6842
💬 社区 —— 真实部署经验
0 文章 · 0 实测
单卡可运行的 GPU
RTX A6000
48 GB VRAM
$210
/月 · vast
L40S
48 GB VRAM
$341
/月 · vast
RTX PRO 6000 WS
48 GB VRAM
$586
/月 · vast
A100 80GB
80 GB VRAM
$876
/月 · vast
RTX PRO 6000 S
48 GB VRAM
$925
/月 · vast