deepseek-r1-distill-llama

DeepSeek R1 Distill Llama Docker 镜像

由DeepSeek开发的蒸馏版LLaMA模型,快速且针对实际任务优化,适用于高效执行各类真实场景任务。

79 次收藏下载次数: 0状态:社区镜像维护者:Docker AI 官方镜像仓库类型:镜像最近更新:
下载命令
点击查看

Deepseek-R1-Distill-Llama 镜像文档

镜像概述和主要用途

Deepseek-R1-Distill-Llama 是 DeepSeek 推出的基于 LLaMA 架构的蒸馏版推理模型,是 DeepSeek 第一代推理模型(DeepSeek-R1-Zero 和 DeepSeek-R1)的衍生版本。该模型通过强化学习增强推理性能,在完整 DeepSeek-R1 模型的响应和推理输出上进行了微调优化,具有快速高效的特点,专为实际业务场景中的任务处理设计。

核心功能和特性

基本特性

属性详情
提供方Deepseek
架构LLaMA
数据截止日期2024年5月ⁱ
支持语言英语、中文
工具调用能力✅(支持)
输入模态文本
输出模态文本
许可证https://github.com/deepseek-ai/DeepSeek-R1/blob/main/LICENSE

ⁱ:估算值

可用模型变体

模型变体参数量化方式上下文窗口显存¹大小
ai/deepseek-r1-distill-llama:latest

ai/deepseek-r1-distill-llama:8B-Q4_K_M
8BIQ2_XXS/Q4_K_M131K tokens5.33 GiB4.58 GB
ai/deepseek-r1-distill-llama:8B-Q4_08BQ4_0131K tokens5.09 GiB4.33 GB
ai/deepseek-r1-distill-llama:8B-Q4_K_M8BIQ2_XXS/Q4_K_M131K tokens5.33 GiB4.58 GB
ai/deepseek-r1-distill-llama:8B-F168BF16131K tokens15.01 GiB14.96 GB
ai/deepseek-r1-distill-llama:70B-Q4_070BQ4_0131K tokens38.73 GiB37.22 GB
ai/deepseek-r1-distill-llama:70B-Q4_K_M70BIQ2_XXS/Q4_K_M131K tokens41.11 GiB39.59 GB

¹:显存基于模型特性估算。

说明:latest 标签对应 8B-Q4_K_M 变体。

使用场景和适用范围

Deepseek-R1-Distill-Llama 适用于以下场景:

  • 软件开发:生成代码、调试程序、解释复杂技术概念。
  • 数学领域:解决复杂数学问题并提供解释,支持科研和教育场景。
  • 内容创作与编辑:为各行业撰写、编辑和总结内容。
  • 客户服务:驱动聊天机器人与用户互动,解答咨询。
  • 数据分析:从大型数据集中提取洞察并生成报告。
  • 教育领域:作为数字 tutor,提供清晰解释和个性化课程。

使用方法和配置说明

使用 Docker Model Runner

前提条件

确保已安装支持 Model Runner 功能的 Docker 环境,详情参考 https://docs.docker.com/desktop/features/model-runner/。

拉取镜像

bash
docker model pull ai/deepseek-r1-distill-llama

运行模型

bash
docker model run ai/deepseek-r1-distill-llama

配置建议

  • 温度参数:建议设置在 0.5-0.7 之间(推荐值 0.6),以避免输出重复或逻辑不一致。
  • 提示词格式:不使用系统提示(system prompt),所有指令需包含在用户提示(user prompt)中。
  • 数学问题处理:添加明确指令,例如:“请逐步推理,并将最终答案用 \boxed{} 括起来。”
  • 提示词优化:模型对提示词敏感,少样本提示(few-shot prompting)会降低性能,建议使用零样本(zero-shot)设置,直接描述问题并指定输出格式以获得最佳结果。

性能基准

类别基准测试DeepSeek R1
英文任务
MMLU (Pass@1)90.8
MMLU-Redux (EM)92.9
MMLU-Pro (EM)84.0
DROP (3-shot F1)92.2
IF-Eval (Prompt Strict)83.3
GPQA-Diamond (Pass@1)71.5
SimpleQA (Correct)30.1
FRAMES (Acc.)82.5
AlpacaEval2.0 (LC-winrate)87.6
ArenaHard (GPT-4-1106)92.3
代码任务
LiveCodeBench (Pass@1-COT)65.9
Codeforces (Percentile)96.3
Codeforces (Rating)2029
SWE Verified (Resolved)49.2
Aider-Polyglot (Acc.)53.3
数学任务
AIME 2024 (Pass@1)79.8
MATH-500 (Pass@1)97.3
CNMO 2024 (Pass@1)78.8
中文任务
CLUEWSC (EM)92.8
C-Eval (EM)91.8
C-SimpleQA (Correct)63.7

相关链接

  • https://arxiv.org/abs/2501.***:《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》

镜像拉取方式

您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。

轩辕镜像加速拉取命令点我查看更多 deepseek-r1-distill-llama 镜像标签

docker model pull docker.xuanyuan.run/ai/deepseek-r1-distill-llama:<标签>

DockerHub 原生拉取命令

docker model pull ai/deepseek-r1-distill-llama:<标签>
专业版 · 高速稳定拉取镜像
50GB 仅 ¥8/年
高速镜像下载在线技术支持专业版保障服务可用付费会员免广告