Mistral Medium 3.5 128B
mistralai/Mistral-Medium-3.5-128B
参数量
128B
上下文
256K
下载量
80.7K
点赞
418
架构
transformer
GPU 需求
按量化方案和使用场景估算的显存 / 内存 / 磁盘
| 量化 | 最低配置 | 推荐配置 | 生产配置 |
|---|---|---|---|
| FP1616bit | 305.2 GB RAM 457.8 · Disk 410.9 | 321.1 GB RAM 481.6 · Disk 436.9 | 350.6 GB RAM 525.9 · Disk 475.9 |
| FP88bit | 154.4 GB RAM 231.6 · Disk 225.0 | 163.4 GB RAM 245.1 · Disk 251.0 | 186.1 GB RAM 279.2 · Disk 290.0 |
| INT88bit | 154.4 GB RAM 231.6 · Disk 225.0 | 163.4 GB RAM 245.1 · Disk 251.0 | 186.1 GB RAM 279.2 · Disk 290.0 |
| AWQ4bit | 81.8 GB RAM 122.7 · Disk 135.5 | 87.5 GB RAM 131.3 · Disk 161.5 | 106.9 GB RAM 160.4 · Disk 200.5 |
| GPTQ4bit | 82.7 GB RAM 124.1 · Disk 136.6 | 88.5 GB RAM 132.8 · Disk 162.6 | 108.0 GB RAM 162.0 · Disk 201.6 |
| GGUF4bit | 84.6 GB RAM 126.9 · Disk 139.0 | 90.5 GB RAM 135.7 · Disk 165.0 | 110.0 GB RAM 165.0 · Disk 204.0 |
GPU 推荐
Best ValueBEST
1× H200 SXM
141 GB VRAM
$2,555/月
≈ 77.6 tok/s
可用生产吞吐 ≈ 54.3 tok/s
score 0.6366
Performance
8× H200 SXM
1128 GB VRAM
$20,440/月
≈ 248.4 tok/s
可用生产吞吐 ≈ 173.9 tok/s
score 0.2197
Min Complexity
2× RTX A6000
96 GB VRAM
$452/月
≈ 19.9 tok/s
可用生产吞吐 ≈ 13.9 tok/s
score 0.6037
💬 社区 —— 真实部署经验
0 文章 · 0 实测
单卡可运行的 GPU
H200 SXM
141 GB VRAM
$2,555
/月 · lambda
B200
180 GB VRAM
$3,013
/月 · vast
B200 SXM
180 GB VRAM
—