GPU 需求
按量化方案和使用场景估算的显存 / 内存 / 磁盘
| 量化 | 最低配置 | 推荐配置 | 生产配置 |
|---|---|---|---|
| FP1616bit | 127.7 GB RAM 191.5 · Disk 135.3 | 136.9 GB RAM 205.4 · Disk 161.3 | 150.1 GB RAM 225.1 · Disk 200.3 |
| FP88bit | 66.6 GB RAM 99.9 · Disk 87.1 | 73.1 GB RAM 109.6 · Disk 113.1 | 83.4 GB RAM 125.2 · Disk 152.1 |
| INT88bit | 66.6 GB RAM 99.9 · Disk 87.1 | 73.1 GB RAM 109.6 · Disk 113.1 | 83.4 GB RAM 125.2 · Disk 152.1 |
| AWQ4bit | 37.2 GB RAM 55.8 · Disk 64.0 | 42.3 GB RAM 63.5 · Disk 90.0 | 51.4 GB RAM 77.1 · Disk 129.0 |
| GPTQ4bit | 37.6 GB RAM 56.4 · Disk 64.3 | 42.7 GB RAM 64.1 · Disk 90.3 | 51.8 GB RAM 77.7 · Disk 129.3 |
| GGUF4bit | 38.3 GB RAM 57.5 · Disk 64.9 | 43.5 GB RAM 65.3 · Disk 90.9 | 52.6 GB RAM 78.9 · Disk 129.9 |
GPU 推荐
Best ValueBEST
1× H100 SXM
80 GB VRAM
$1,170/月
≈ 180 video-sec/GPU-h
可用生产吞吐 ≈ 108 video-sec/GPU-h
score 0.6307
Cheapest
1× RTX A6000
48 GB VRAM
$210/月
≈ 180 video-sec/GPU-h
可用生产吞吐 ≈ 108 video-sec/GPU-h
score 0.6559
Performance
8× H200 SXM
1128 GB VRAM
$20,440/月
≈ 180 video-sec/GPU-h
可用生产吞吐 ≈ 108 video-sec/GPU-h
score 0.2197
Min Complexity
1× L40S
48 GB VRAM
$341/月
≈ 180 video-sec/GPU-h
可用生产吞吐 ≈ 108 video-sec/GPU-h
score 0.6539
💬 社区 —— 真实部署经验
0 文章 · 0 实测
单卡可运行的 GPU
RTX A6000
48 GB VRAM
$210
/月 · vast
L40S
48 GB VRAM
$341
/月 · vast
RTX PRO 6000 WS
48 GB VRAM
$482
/月 · vast
RTX PRO 6000 S
48 GB VRAM
$633
/月 · vast
A100 80GB
80 GB VRAM
$876
/月 · vast