ragsdk

ascendai/ragsdk Docker Image

RAGSDK是大语言模型知识增强开发套件,解决大模型知识更新慢、领域知识问答弱的问题,提供领域调优、生成增强、知识库管理等功能,帮助构建专属、高性能的大模型问答系统。

下载次数: 0状态:社区镜像维护者:昇腾 Ascend AI 容器镜像仓库类型:镜像最近更新:

RAGSDK镜像

镜像概述

RAGSDK是面向大语言模型的知识增强开发套件,旨在解决大模型知识更新缓慢、领域知识问答能力薄弱等问题。该套件提供领域调优、生成增强、知识库管理等功能,帮助用户构建专属、高性能、准确的大模型问答系统。

核心功能

  • 领域知识调优:针对特定领域优化大模型知识储备,提升领域问答准确性。
  • 生成增强:增强大模型内容生成质量,确保输出与领域知识高度匹配。
  • 知识库管理:提供高效的知识库构建、更新和维护工具,支持快速集成新领域知识。

使用场景

  • 企业内部专属问答系统:整合企业私有知识,为员工提供精准业务咨询服务。
  • 领域知识服务平台:面向***、***、***等领域,构建专业知识问答应用。
  • 大模型应用开发:为开发者提供知识增强能力,加速大模型应用落地。

配置说明

标签命名规则

镜像标签遵循格式:<ragsdk版本>-<芯片系列>-<操作系统>-<Python版本>
各字段说明:

字段示例值描述
RAGSDK版本26.0.0RAGSDK版本号
芯片系列910, A3, 300I Pro目标昇腾芯片系列
操作系统ubuntu22.04, openeuler24.03基础操作系统
Python版本py3.11内置Python版本

构建镜像

bash
git clone https://gitcode.com/Ascend/RAGSDK.git && cd RAGSDK/docker
docker build --network host --build-arg CANN_VERSION={cann版本} -t {你的仓库}/ragsdk:latest -f Dockerfile.<芯片系列>.<操作系统> .

运行容器

bash
docker run -itd --name=rag_sdk_demo --network=host \
    --device=/dev/davinci_manager \
    --device=/dev/hisi_hdc \
    --device=/dev/devmm_svm \
    --device=/dev/davinci0 \
    -v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \
    -v /usr/local/sbin:/usr/local/sbin:ro \
    -v /path/to/model:/path/to/model:ro \
    {镜像名}:{标签} bash

参数说明

  • /path/to/model:模型存储目录,需加载模型时放入此目录。
  • {镜像名}:{标签}:指定运行的RAGSDK镜像及标签。

进入容器

bash
docker exec -it rag_sdk_demo bash

使用示例

容器内示例代码路径:/workspace/RAGSDK_Samples,也可通过链接获取最新示例:
RAGSDK Demo Samples

开发扩展

基于RAGSDK镜像二次开发:

dockerfile
FROM swr.cn-south-1.myhuaweicloud.com/ascendhub/ragsdk:26.0.0-910b-ubuntu22.04-py3.11
RUN apt update -y && \
    apt install gcc ...
# 自定义操作

支持硬件

芯片系列产品示例架构
Atlas 910Atlas 800T A2、Atlas 900 A2 PoDARM64/X86_64
Atlas A3Atlas 800T A3ARM64/X86_64
Atlas 300I ProAtlas 300I Pro、Atlas 300V ProARM64/X86_64

许可证

查看RAGSDK及相关软件的许可证信息,预装包(Python、系统库等)受各自许可证约束。

镜像拉取方式

您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。

轩辕镜像加速拉取命令点我查看更多 ragsdk 镜像标签

docker pull docker.xuanyuan.run/ascendai/ragsdk:<标签>

DockerHub 原生拉取命令

docker pull ascendai/ragsdk:<标签>
专业版 · 高速稳定拉取镜像
50GB 仅 ¥8/年
高速镜像下载在线技术支持专业版保障服务可用付费会员免广告