ai/deepseek-r1-distill-llama

Deepseek-R1-Distill-Llama 镜像文档

镜像概述和主要用途

Deepseek-R1-Distill-Llama 是 DeepSeek 推出的基于 LLaMA 架构的蒸馏版推理模型，是 DeepSeek 第一代推理模型（DeepSeek-R1-Zero 和 DeepSeek-R1）的衍生版本。该模型通过强化学习增强推理性能，在完整 DeepSeek-R1 模型的响应和推理输出上进行了微调优化，具有快速高效的特点，专为实际业务场景中的任务处理设计。

核心功能和特性

基本特性

ⁱ：估算值

可用模型变体

¹：显存基于模型特性估算。

说明：latest 标签对应 8B-Q4_K_M 变体。

使用场景和适用范围

Deepseek-R1-Distill-Llama 适用于以下场景：

• 软件开发：生成代码、调试程序、解释复杂技术概念。
• 数学领域：解决复杂数学问题并提供解释，支持科研和教育场景。
• 内容创作与编辑：为各行业撰写、编辑和总结内容。
• 客户服务：驱动聊天机器人与用户互动，解答咨询。
• 数据分析：从大型数据集中提取洞察并生成报告。
• 教育领域：作为数字 tutor，提供清晰解释和个性化课程。

使用方法和配置说明

使用 Docker Model Runner

前提条件

确保已安装支持 Model Runner 功能的 Docker 环境，详情参考 https://docs.docker.com/desktop/features/model-runner/%E3%80%82

拉取镜像

bash
docker model pull ai/deepseek-r1-distill-llama

运行模型

bash
docker model run ai/deepseek-r1-distill-llama

配置建议

• 温度参数：建议设置在 0.5-0.7 之间（推荐值 0.6），以避免输出重复或逻辑不一致。
• 提示词格式：不使用系统提示（system prompt），所有指令需包含在用户提示（user prompt）中。
• 数学问题处理：添加明确指令，例如：“请逐步推理，并将最终答案用 \boxed{} 括起来。”
• 提示词优化：模型对提示词敏感，少样本提示（few-shot prompting）会降低性能，建议使用零样本（zero-shot）设置，直接描述问题并指定输出格式以获得最佳结果。

性能基准

相关链接

• https://arxiv.org/abs/2501.***%EF%BC%9A%E3%80%8ADeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》