ascendai/ragsdk

RAGSDK镜像

镜像概述

RAGSDK是面向大语言模型的知识增强开发套件，旨在解决大模型知识更新缓慢、领域知识问答能力薄弱等问题。该套件提供领域调优、生成增强、知识库管理等功能，帮助用户构建专属、高性能、准确的大模型问答系统。

核心功能

• 领域知识调优：针对特定领域优化大模型知识储备，提升领域问答准确性。
• 生成增强：增强大模型内容生成质量，确保输出与领域知识高度匹配。
• 知识库管理：提供高效的知识库构建、更新和维护工具，支持快速集成新领域知识。

使用场景

• 企业内部专属问答系统：整合企业私有知识，为员工提供精准业务咨询服务。
• 领域知识服务平台：面向***、***、***等领域，构建专业知识问答应用。
• 大模型应用开发：为开发者提供知识增强能力，加速大模型应用落地。

配置说明

标签命名规则

镜像标签遵循格式：<ragsdk版本>-<芯片系列>-<操作系统>-<Python版本>
各字段说明：

构建镜像

bash
git clone https://gitcode.com/Ascend/RAGSDK.git && cd RAGSDK/docker
docker build --network host --build-arg CANN_VERSION={cann版本} -t {你的仓库}/ragsdk:latest -f Dockerfile.<芯片系列>.<操作系统> .

运行容器

bash
docker run -itd --name=rag_sdk_demo --network=host \
    --device=/dev/davinci_manager \
    --device=/dev/hisi_hdc \
    --device=/dev/devmm_svm \
    --device=/dev/davinci0 \
    -v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \
    -v /usr/local/sbin:/usr/local/sbin:ro \
    -v /path/to/model:/path/to/model:ro \
    {镜像名}:{标签} bash

参数说明

• /path/to/model：模型存储目录，需加载模型时放入此目录。
• {镜像名}:{标签}：指定运行的RAGSDK镜像及标签。

进入容器

bash
docker exec -it rag_sdk_demo bash

使用示例

容器内示例代码路径：/workspace/RAGSDK_Samples，也可通过链接获取最新示例：
RAGSDK Demo Samples

开发扩展

基于RAGSDK镜像二次开发：

dockerfile
FROM swr.cn-south-1.myhuaweicloud.com/ascendhub/ragsdk:26.0.0-910b-ubuntu22.04-py3.11
RUN apt update -y && \
    apt install gcc ...
# 自定义操作

支持硬件

许可证

查看RAGSDK及相关软件的许可证信息，预装包（Python、系统库等）受各自许可证约束。