GPU 需求
按量化方案和使用场景估算的显存 / 内存 / 磁盘
| 量化 | 最低配置 | 推荐配置 | 生产配置 |
|---|---|---|---|
| FP1616bit | 6601.1 GB RAM 9901.6 · Disk 8175.0 | 6903.1 GB RAM 10354.7 · Disk 8201.0 | 7218.9 GB RAM 10828.3 · Disk 8240.0 |
| FP88bit | 3302.3 GB RAM 4953.5 · Disk 4107.0 | 3454.4 GB RAM 5181.7 · Disk 4133.0 | 3620.2 GB RAM 5430.4 · Disk 4172.0 |
| INT88bit | 3302.3 GB RAM 4953.5 · Disk 4107.0 | 3454.4 GB RAM 5181.7 · Disk 4133.0 | 3620.2 GB RAM 5430.4 · Disk 4172.0 |
| AWQ4bit | 1714.8 GB RAM 2572.2 · Disk 2149.3 | 1794.8 GB RAM 2692.1 · Disk 2175.3 | 1888.4 GB RAM 2832.6 · Disk 2214.3 |
| GPTQ4bit | 1735.4 GB RAM 2603.1 · Disk 2174.7 | 1816.3 GB RAM 2724.5 · Disk 2200.7 | 1910.9 GB RAM 2866.3 · Disk 2239.7 |
| GGUF4bit | 1776.7 GB RAM 2665.0 · Disk 2225.6 | 1859.4 GB RAM 2789.1 · Disk 2251.6 | 1955.9 GB RAM 2933.8 · Disk 2290.6 |
GPU 推荐
⚠️ 没有单卡能满足——请查看多卡方案
该模型所需显存超过单卡上限。以下为多卡集群方案（可能仍不足）：（1794.76 GB VRAM）
8× H200 SXM
1128 GB · 还缺 666.76 GB
$20,440/mo
💬 社区 —— 真实部署经验
0 文章 · 0 实测