unsloth/deepseek-r1-0528-qwen3-gguf

DeepSeek-R1-0528-Qwen3-8B Docker镜像文档

镜像概述

本镜像基于deepseek-ai/DeepSeek-R1-0528-Qwen3-8B模型构建，通过蒸馏DeepSeek-R1-0528的思维链（***of-Thought）对Qwen3 8B Base模型进行后训练，显著提升了模型在数学推理、代码生成及复杂逻辑任务上的性能。该模型架构与Qwen3-8B一致，但采用DeepSeek-R1-0528的分词器配置，在开源模型中表现出state-of-the-art（SOTA）水平，尤其在AIME 2024等数学基准测试中超越原版Qwen3 8B达10.0%，可媲美Qwen3-235B-thinking的性能。

核心功能与特性

关键性能提升

• 推理深度增强：通过增加计算资源与算法优化，模型在复杂推理任务中平均使用23K tokens/问题（较前代12K提升近一倍），AIME 2025测试准确率从70%提升至87.5%。
• SOTA开源表现：在多项基准测试中表现优异，如AIME 2024（86.0%）、HMMT 2025（61.5%）、LiveCodeBench（60.5%），超越同量级开源模型。
• 功能优化：支持系统提示（System Prompt）、降低幻觉率、增强函数调用能力，提升vibe coding体验。

技术特性

• 基于transformers库构建，兼容Qwen3-8B模型架构
• 共享DeepSeek-R1-0528的分词器配置，需使用本仓库配置文件
• 支持长文本生成，最大生成长度64K tokens

使用场景

• 学术研究：推理模型机制研究、小模型性能优化实验
• 工业应用：数学问题求解、代码生成与调试、复杂逻辑分析
• 开发测试：本地部署AI助手、函数调用系统集成、多轮对话应用

使用方法与配置

基础参数配置

• 温度（Temperature）：推荐设置0.5–0.7（最佳0.6），减少重复与非连贯输出
• Top_P：推荐设置0.95，控制采样多样性

系统提示（System Prompt）

官方推荐系统提示模板，需包含当前日期：

该助手为DeepSeek-R1，由深度求索公司创造。
今天是{current date}。

示例：

该助手为DeepSeek-R1，由深度求索公司创造。
今天是2025年5月28日，星期一。

文件上传提示模板

[file name]: {file_name}
[file content begin]
{file_content}
[file content end]
{question}

其中{file_name}为文件名，{file_content}为文件内容，{question}为用户问题。

网页搜索提示模板（中文）

# 以下内容是基于用户发送的消息的搜索结果:
{search_results}
在我给你的搜索结果中，每个结果都是[webpage X begin]...[webpage X end]格式的，X代表每篇文章的数字索引。请在适当的情况下在句子末尾引用上下文。请按照引用编号[citation:X]的格式在答案中对应部分引用上下文。如果一句话源自多个上下文，请列出所有相关的引用编号，例如[citation:3][citation:5]，切记不要将引用集中在最后返回引用编号，而是在答案对应部分列出。
在回答时，请注意以下几点：
- 今天是{cur_date}。
- 并非搜索结果的所有内容都与用户的问题密切相关，你需要结合问题，对搜索结果进行甄别、筛选。
- 对于列举类的问题（如列举所有航班信息），尽量将答案控制在10个要点以内，并告诉用户可以查看搜索来源、获得完整信息。优先提供信息完整、最相关的列举项；如非必要，不要主动告诉用户搜索结果未提供的内容。
- 对于创作类的问题（如写论文），请务必在正文的段落中引用对应的参考编号，例如[citation:3][citation:5]，不能只在文章末尾引用。你需要解读并概括用户的题目要求，选择合适的格式，充分利用搜索结果并抽取重要信息，生成符合用户要求、极具思想深度、富有创造力与专业性的答案。你的创作篇幅需要尽可能延长，对于每一个要点的论述要推测用户的意图，给出尽可能多角度的回答要点，且务必信息量大、论述详尽。
- 如果回答很长，请尽量结构化、分段落总结。如果需要分点作答，尽量控制在5个点以内，并合并相关的内容。
- 对于客观类的问答，如果问题的答案非常简短，可以适当补充一到两句相关信息，以丰富内容。
- 你需要根据用户要求和回答内容选择合适、美观的回答格式，确保可读性强。
- 你的回答应该综合多个相关网页来回答，不能重复引用一个网页。
- 除非用户要求，否则你回答的语言需要和用户提问的语言保持一致。
# 用户消息为：
{question}

（注：英文搜索提示模板类似，将语言相关描述调整为英文即可）

Docker部署示例

基本运行命令

bash
docker run -it --gpus all -p 8000:8000 \
  -e MODEL_PATH=/app/model \
  -v /path/to/local/model:/app/model \
  deepseek-r1-0528-qwen3-8b:latest \
  python -m transformers.run --model_name_or_path /app/model --temperature 0.6 --top_p 0.95

Docker Compose配置

yaml
version: '3'
services:
  deepseek-r1:
    image: deepseek-r1-0528-qwen3-8b:latest
    ports:
      - "8000:8000"
    volumes:
      - /path/to/local/model:/app/model
    environment:
      - MODEL_PATH=/app/model
      - TEMPERATURE=0.6
      - TOP_P=0.95
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

许可证

本镜像基于MIT许可证开源，支持商业使用与模型蒸馏。详细许可条款见MIT License。

引用

@misc{deepseekai2025deepseekr1incentivizingreasoningcapability,
      title={DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning}, 
      author={DeepSeek-AI},
      year={2025},
      eprint={2501.12948},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2501.12948}, 
}

参考链接

• 官方文档
• 模型仓库
• Unsloth动态量化技术