Mistral Small 3.1 24B
mistralai/Mistral-Small-3.1-24B-Instruct-2503
参数量
24B
上下文
128K
下载量
275.3K
点赞
1.4K
架构
transformer
GPU 需求
按量化方案和使用场景估算的显存 / 内存 / 磁盘
| 量化 | 最低配置 | 推荐配置 | 生产配置 |
|---|---|---|---|
| FP1616bit | 61.5 GB RAM 92.3 · Disk 108.7 | 79.8 GB RAM 119.7 · Disk 134.7 | 179.3 GB RAM 268.9 · Disk 173.7 |
| FP88bit | 33.2 GB RAM 49.8 · Disk 73.9 | 50.3 GB RAM 75.4 · Disk 99.9 | 148.5 GB RAM 222.7 · Disk 138.9 |
| INT88bit | 33.2 GB RAM 49.8 · Disk 73.9 | 50.3 GB RAM 75.4 · Disk 99.9 | 148.5 GB RAM 222.7 · Disk 138.9 |
| AWQ4bit | 19.6 GB RAM 32.0 · Disk 57.1 | 36.0 GB RAM 54.1 · Disk 83.1 | 133.6 GB RAM 200.4 · Disk 122.1 |
| GPTQ4bit | 19.8 GB RAM 32.0 · Disk 57.3 | 36.2 GB RAM 54.3 · Disk 83.3 | 133.8 GB RAM 200.7 · Disk 122.3 |
| GGUF4bit | 20.2 GB RAM 32.0 · Disk 57.7 | 36.6 GB RAM 54.9 · Disk 83.7 | 134.2 GB RAM 201.3 · Disk 122.7 |
GPU 推荐
Best ValueBEST
1× H100 SXM
80 GB VRAM
$1,170/月
≈ 289 tok/s
可用生产吞吐 ≈ 202.3 tok/s
score 0.6097
Performance
8× H200 SXM
1128 GB VRAM
$20,440/月
≈ 1325.3 tok/s
可用生产吞吐 ≈ 927.7 tok/s
score 0.2197
Min Complexity
1× RTX A6000
48 GB VRAM
$226/月
≈ 66.3 tok/s
可用生产吞吐 ≈ 46.4 tok/s
score 0.6906
💬 社区 —— 真实部署经验
0 文章 · 0 实测
单卡可运行的 GPU
RTX A6000
48 GB VRAM
$226
/月 · vast
L40S
48 GB VRAM
$341
/月 · vast
RTX PRO 6000 WS
48 GB VRAM
$482
/月 · vast
RTX PRO 6000 S
48 GB VRAM
$634
/月 · vast
A100 80GB
80 GB VRAM
$876
/月 · vast