国际Apache 2.0
Mistral-Small-24B
Mistral Small 24B（v25.01），高效 Dense 模型，支持 128K 上下文
Mistral AI·24B 参数·Dense·发布于 2025-01
你的硬件评估
正在检测硬件...
❓ 未知
参数量
24B
上下文长度
128K tokens
架构
Dense
最低显存
14.6 GB
Q4_K_M 量化
量化选项
4 种
适用场景
对话代码推理
量化版本对比
| 格式 | 位宽 | 所需显存 | 质量 | 预估速度 | 状态 |
|---|---|---|---|---|---|
| Q4_K_M | 4-bit | 14.6 GB | 良好 | — | ❓ 未知 |
| Q6_K | 6-bit | 18.9 GB | 优秀 | — | ❓ 未知 |
| Q8_0 | 8-bit | 24.7 GB | 优秀 | — | ❓ 未知 |
| F16 | 16-bit | 48 GB | 无损 | — | ❓ 未知 |
显存需求一览
Q4_K_M
14.6 GB
Q6_K
18.9 GB
Q8_0
24.7 GB
F16
48 GB
资源链接
推荐硬件配置
Q4_K_M→建议 ≥ 17 GB 显存（模型 14.6 GB + 15% 余量）
Q6_K→建议 ≥ 22 GB 显存（模型 18.9 GB + 15% 余量）
Q8_0→建议 ≥ 29 GB 显存（模型 24.7 GB + 15% 余量）
F16→建议 ≥ 56 GB 显存（模型 48 GB + 15% 余量）