国产MoEMIT

DeepSeek-R1-0528

DeepSeek R1 最新升级版(2025-05-28),671B MoE 架构,推理能力大幅提升,AIME 2025 得分 87.5%

DeepSeek·671B 参数·MoE·发布于 2025-05

你的硬件评估

正在检测硬件...
未知
参数量

671B

激活 37B

上下文长度

128K tokens

架构

MoE

671B 总参数

最低显存

243 GB

Q2_K 量化

量化选项

2 种

适用场景

推理代码数学

量化版本对比

格式位宽所需显存质量预估速度状态
Q2_K2-bit243 GB
未知
Q4_K_M4-bit366 GB
良好
未知

显存需求一览

Q2_K
243 GB
Q4_K_M
366 GB

资源链接

💡 关于 MoE 架构

DeepSeek-R1-0528 采用 Mixture of Experts (MoE) 架构,总参数量为 671B, 但每次推理仅激活 37B 参数。虽然推理计算量较小, 但完整模型权重仍需全部加载到显存中,因此显存需求按总参数量计算。 实际推理速度会比同等显存占用的 Dense 模型更快。

推荐硬件配置

Q2_K建议 ≥ 280 GB 显存(模型 243 GB + 15% 余量)
Q4_K_M建议 ≥ 421 GB 显存(模型 366 GB + 15% 余量)