国际MIT

Phi-4-14B

微软 Phi-4 14B,小模型大智慧,推理和数学能力突出

Microsoft·14.7B 参数·Dense·发布于 2024-12

你的硬件评估

正在检测硬件...
未知
参数量

14.7B

上下文长度

16K tokens

架构

Dense

最低显存

9 GB

Q4_K_M 量化

量化选项

4 种

适用场景

推理数学代码

量化版本对比

格式位宽所需显存质量预估速度状态
Q4_K_M4-bit9 GB
良好
未知
Q6_K6-bit11.6 GB
优秀
未知
Q8_08-bit15.1 GB
优秀
未知
F1616-bit29.4 GB
无损
未知

显存需求一览

Q4_K_M
9 GB
Q6_K
11.6 GB
Q8_0
15.1 GB
F16
29.4 GB

资源链接

推荐硬件配置

Q4_K_M建议 ≥ 11 GB 显存(模型 9 GB + 15% 余量)
Q6_K建议 ≥ 14 GB 显存(模型 11.6 GB + 15% 余量)
Q8_0建议 ≥ 18 GB 显存(模型 15.1 GB + 15% 余量)
F16建议 ≥ 34 GB 显存(模型 29.4 GB + 15% 余量)