国产Apache 2.0
Qwen2.5-72B
通义千问 2.5 代旗舰 Dense 模型,72B 参数,全面能力
Alibaba·72.7B 参数·Dense·发布于 2024-09
你的硬件评估
正在检测硬件...
❓ 未知
参数量
72.7B
上下文长度
128K tokens
架构
Dense
最低显存
44.4 GB
Q4_K_M 量化
量化选项
3 种
适用场景
对话推理代码多语言
量化版本对比
| 格式 | 位宽 | 所需显存 | 质量 | 预估速度 | 状态 |
|---|---|---|---|---|---|
| Q4_K_M | 4-bit | 44.4 GB | 良好 | — | ❓ 未知 |
| Q6_K | 6-bit | 57.2 GB | 优秀 | — | ❓ 未知 |
| Q8_0 | 8-bit | 74.8 GB | 优秀 | — | ❓ 未知 |
显存需求一览
Q4_K_M
44.4 GB
Q6_K
57.2 GB
Q8_0
74.8 GB
资源链接
推荐硬件配置
Q4_K_M→建议 ≥ 52 GB 显存(模型 44.4 GB + 15% 余量)
Q6_K→建议 ≥ 66 GB 显存(模型 57.2 GB + 15% 余量)
Q8_0→建议 ≥ 87 GB 显存(模型 74.8 GB + 15% 余量)