openeuler/deepseek

DeepSeek-LLM Docker镜像文档

快速参考

• 官方DeepSeek-LLM Docker镜像。
• 维护者：https://gitee.com/openeuler/cloudnative。
• 获取帮助：https://gitee.com/openeuler/cloudnative、https://gitee.com/openeuler/community。

镜像概述与主要用途

当前DeepSeek-LLM Docker镜像基于https://repo.openeuler.org/构建。本仓库可免费使用，且无每用户速率限制。

DeepSeek LLM是一款高级语言模型，包含670亿参数。它在2万亿中英文token的海量数据集上从头开始训练。DeepSeek LLM 7B/67B Base和DeepSeek LLM 7B/67B Chat版本对研究社区开源。

了解更多：https://github.com/deepseek-ai/DeepSeek-LLM。

支持的标签及对应Dockerfile链接

每个DeepSeek-LLM Docker镜像的标签由DeepSeek-LLM版本和基础镜像版本组成，详情如下：

使用方法

用户可根据需求选择对应的{Tag}。

拉取镜像

从Docker拉取openeuler/deepseek镜像：

bash
docker pull docker.xuanyuan.run/openeuler/deepseek:{Tag}

运行并测试容器

运行并测试deepseek容器：

bash
docker run -it --rm docker.xuanyuan.run/openeuler/deepseek:{Tag}

在此环境下，用户可按以下方式测试DeepSeek-LLM：

文本补全

python
import torch
from docker.xuanyuan.run/transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig

model_name = "deepseek-ai/deepseek-llm-7b-base"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
model.generation_config = GenerationConfig.from_pretrained(model_name)
model.generation_config.pad_token_id = model.generation_config.eos_token_id

text = "An attention function can be described as mapping a query and a set of key-value pairs to an output"
inputs = tokenizer(text, return_tensors="pt")
outputs = model.generate(**inputs.to(model.device), max_new_tokens=100)

result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(result)

聊天补全

python
import torch
from docker.xuanyuan.run/transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig

model_name = "deepseek-ai/deepseek-llm-7b-chat"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
model.generation_config = GenerationConfig.from_pretrained(model_name)
model.generation_config.pad_token_id = model.generation_config.eos_token_id

messages = [{"role": "user", "content": "Who are you?"}]
input_tensor = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")
outputs = model.generate(input_tensor.to(model.device), max_new_tokens=100)

result = tokenizer.decode(outputs[0][input_tensor.shape[1]:], skip_special_tokens=True)
print(result)

问答

如有任何问题或需要使用特殊功能，请在https://gitee.com/openeuler/openeuler-docker-images提交issue或pull request。