Mistral Small 4
mistralai/Mistral-Small-4-119B-2603
参数量
119B
上下文
256K
下载量
136.6K
点赞
414
架构
moe_transformer
GPU 需求
按量化方案和使用场景估算的显存 / 内存 / 磁盘
| 量化 | 最低配置 | 推荐配置 | 生产配置 |
|---|---|---|---|
| FP1616bit | 284.0 GB RAM 426.0 · Disk 384.8 | 298.9 GB RAM 448.3 · Disk 410.8 | 327.5 GB RAM 491.2 · Disk 449.8 |
| FP88bit | 143.8 GB RAM 215.7 · Disk 211.9 | 152.3 GB RAM 228.5 · Disk 237.9 | 174.5 GB RAM 261.8 · Disk 276.9 |
| INT88bit | 143.8 GB RAM 215.7 · Disk 211.9 | 152.3 GB RAM 228.5 · Disk 237.9 | 174.5 GB RAM 261.8 · Disk 276.9 |
| AWQ4bit | 76.3 GB RAM 114.5 · Disk 128.7 | 81.8 GB RAM 122.7 · Disk 154.7 | 100.9 GB RAM 151.4 · Disk 193.7 |
| GPTQ4bit | 77.2 GB RAM 115.8 · Disk 129.8 | 82.7 GB RAM 124.1 · Disk 155.8 | 101.9 GB RAM 152.8 · Disk 194.8 |
| GGUF4bit | 78.9 GB RAM 118.4 · Disk 131.9 | 84.5 GB RAM 126.8 · Disk 157.9 | 103.8 GB RAM 155.7 · Disk 196.9 |
GPU 推荐
Best ValueBEST
1× H200 SXM
141 GB VRAM
$2,555/月
≈ 83.5 tok/s
可用生产吞吐 ≈ 58.4 tok/s
score 0.6257
Performance
8× H200 SXM
1128 GB VRAM
$20,440/月
≈ 267.2 tok/s
可用生产吞吐 ≈ 187 tok/s
score 0.2197
Min Complexity
2× RTX A6000
96 GB VRAM
$452/月
≈ 21.4 tok/s
可用生产吞吐 ≈ 15 tok/s
score 0.6197
💬 社区 —— 真实部署经验
0 文章 · 0 实测
单卡可运行的 GPU
H200 SXM
141 GB VRAM
$2,555
/月 · lambda
B200
180 GB VRAM
$3,013
/月 · vast
B200 SXM
180 GB VRAM
—