国产MoEApache 2.0

Qwen3-235B-A22B

通义千问 Qwen3 旗舰 MoE 模型,235B 总参数仅激活 22B,兼顾性能与效率

Alibaba·235B 参数·MoE·发布于 2025-04

你的硬件评估

正在检测硬件...
未知
参数量

235B

激活 22B

上下文长度

128K tokens

架构

MoE

235B 总参数

最低显存

85 GB

Q2_K 量化

量化选项

2 种

适用场景

对话推理代码多语言

量化版本对比

格式位宽所需显存质量预估速度状态
Q2_K2-bit85 GB
未知
Q4_K_M4-bit128 GB
良好
未知

显存需求一览

Q2_K
85 GB
Q4_K_M
128 GB

资源链接

💡 关于 MoE 架构

Qwen3-235B-A22B 采用 Mixture of Experts (MoE) 架构,总参数量为 235B, 但每次推理仅激活 22B 参数。虽然推理计算量较小, 但完整模型权重仍需全部加载到显存中,因此显存需求按总参数量计算。 实际推理速度会比同等显存占用的 Dense 模型更快。

推荐硬件配置

Q2_K建议 ≥ 98 GB 显存(模型 85 GB + 15% 余量)
Q4_K_M建议 ≥ 148 GB 显存(模型 128 GB + 15% 余量)