国产Apache 2.0

Qwen3-32B

通义千问 Qwen3 32B Dense 模型,综合能力强,适合深度推理和复杂任务

Alibaba·32.8B 参数·Dense·发布于 2025-04

你的硬件评估

正在检测硬件...
未知
参数量

32.8B

上下文长度

128K tokens

架构

Dense

最低显存

19.9 GB

Q4_K_M 量化

量化选项

4 种

适用场景

对话推理代码

量化版本对比

格式位宽所需显存质量预估速度状态
Q4_K_M4-bit19.9 GB
良好
未知
Q6_K6-bit25.6 GB
优秀
未知
Q8_08-bit33.5 GB
优秀
未知
F1616-bit65 GB
无损
未知

显存需求一览

Q4_K_M
19.9 GB
Q6_K
25.6 GB
Q8_0
33.5 GB
F16
65 GB

资源链接

推荐硬件配置

Q4_K_M建议 ≥ 23 GB 显存(模型 19.9 GB + 15% 余量)
Q6_K建议 ≥ 30 GB 显存(模型 25.6 GB + 15% 余量)
Q8_0建议 ≥ 39 GB 显存(模型 33.5 GB + 15% 余量)
F16建议 ≥ 75 GB 显存(模型 65 GB + 15% 余量)