国产Apache 2.0

Qwen2.5-72B

通义千问 2.5 代旗舰 Dense 模型,72B 参数,全面能力

Alibaba·72.7B 参数·Dense·发布于 2024-09

你的硬件评估

正在检测硬件...
未知
参数量

72.7B

上下文长度

128K tokens

架构

Dense

最低显存

44.4 GB

Q4_K_M 量化

量化选项

3 种

适用场景

对话推理代码多语言

量化版本对比

格式位宽所需显存质量预估速度状态
Q4_K_M4-bit44.4 GB
良好
未知
Q6_K6-bit57.2 GB
优秀
未知
Q8_08-bit74.8 GB
优秀
未知

显存需求一览

Q4_K_M
44.4 GB
Q6_K
57.2 GB
Q8_0
74.8 GB

资源链接

推荐硬件配置

Q4_K_M建议 ≥ 52 GB 显存(模型 44.4 GB + 15% 余量)
Q6_K建议 ≥ 66 GB 显存(模型 57.2 GB + 15% 余量)
Q8_0建议 ≥ 87 GB 显存(模型 74.8 GB + 15% 余量)