GPU 需求
按量化方案和使用场景估算的显存 / 内存 / 磁盘
| 量化 | 最低配置 | 推荐配置 | 生产配置 |
|---|---|---|---|
| FP1616bit | 22.7 GB RAM 34.0 · Disk 62.5 | 25.7 GB RAM 38.6 · Disk 88.5 | 42.4 GB RAM 63.6 · Disk 127.5 |
| FP88bit | 13.1 GB RAM 32.0 · Disk 50.8 | 15.7 GB RAM 32.0 · Disk 76.8 | 32.0 GB RAM 48.0 · Disk 115.8 |
| INT88bit | 13.1 GB RAM 32.0 · Disk 50.8 | 15.7 GB RAM 32.0 · Disk 76.8 | 32.0 GB RAM 48.0 · Disk 115.8 |
| AWQ4bit | 8.5 GB RAM 32.0 · Disk 45.1 | 10.9 GB RAM 32.0 · Disk 71.1 | 27.0 GB RAM 40.5 · Disk 110.1 |
| GPTQ4bit | 8.6 GB RAM 32.0 · Disk 45.2 | 11.0 GB RAM 32.0 · Disk 71.2 | 27.1 GB RAM 40.6 · Disk 110.2 |
| GGUF4bit | 8.7 GB RAM 32.0 · Disk 45.3 | 11.1 GB RAM 32.0 · Disk 71.3 | 27.2 GB RAM 40.8 · Disk 110.3 |
GPU 推荐
Best ValueBEST
1× RTX 5080
16 GB VRAM
$90.6/月
≈ 245.5 tok/s
可用生产吞吐 ≈ 171.9 tok/s
score 0.6771
Cheapest
1× RTX 4070S Ti
16 GB VRAM
$49.5/月
≈ 0 tok/s (N/A — benchmark unavailable)
可用生产吞吐 ≈ 0 tok/s
score 0.6711
Performance
8× H100 SXM
640 GB VRAM
$9,362/月
≈ 2741.7 tok/s
可用生产吞吐 ≈ 1919.2 tok/s
score 0.2415
Min Complexity
1× RTX 5070
12 GB VRAM
$75.2/月
≈ 171.9 tok/s
可用生产吞吐 ≈ 120.3 tok/s
score 0.6503
💬 社区 —— 真实部署经验
0 文章 · 0 实测
单卡可运行的 GPU
RTX 4070S Ti
16 GB VRAM
$49.5
/月 · vast
RTX 4080S
16 GB VRAM
$50.0
/月 · vast
RTX 5070
12 GB VRAM
$75.2
/月 · vast
RTX 3090
24 GB VRAM
$76.5
/月 · vast
RTX 5070 Ti
16 GB VRAM
$86.3
/月 · vast