国产Apache 2.0

InternLM3-8B

书生·浦语 InternLM3 8B,仅用 4T 数据达到 18T 数据训练模型的性能

上海 AI 实验室·8B 参数·Dense·发布于 2025-01

你的硬件评估

正在检测硬件...
未知
参数量

8B

上下文长度

32K tokens

架构

Dense

最低显存

4.9 GB

Q4_K_M 量化

量化选项

4 种

适用场景

对话推理中文

量化版本对比

格式位宽所需显存质量预估速度状态
Q4_K_M4-bit4.9 GB
良好
未知
Q6_K6-bit6.3 GB
优秀
未知
Q8_08-bit8.2 GB
优秀
未知
F1616-bit16 GB
无损
未知

显存需求一览

Q4_K_M
4.9 GB
Q6_K
6.3 GB
Q8_0
8.2 GB
F16
16 GB

资源链接

推荐硬件配置

Q4_K_M建议 ≥ 6 GB 显存(模型 4.9 GB + 15% 余量)
Q6_K建议 ≥ 8 GB 显存(模型 6.3 GB + 15% 余量)
Q8_0建议 ≥ 10 GB 显存(模型 8.2 GB + 15% 余量)
F16建议 ≥ 19 GB 显存(模型 16 GB + 15% 余量)