RAGSDK是大语言模型知识增强开发套件,解决大模型知识更新慢、领域知识问答弱的问题,提供领域调优、生成增强、知识库管理等功能,帮助构建专属、高性能的大模型问答系统。
RAGSDK镜像
镜像概述
RAGSDK是面向大语言模型的知识增强开发套件,旨在解决大模型知识更新缓慢、领域知识问答能力薄弱等问题。该套件提供领域调优、生成增强、知识库管理等功能,帮助用户构建专属、高性能、准确的大模型问答系统。
核心功能
- 领域知识调优:针对特定领域优化大模型知识储备,提升领域问答准确性。
- 生成增强:增强大模型内容生成质量,确保输出与领域知识高度匹配。
- 知识库管理:提供高效的知识库构建、更新和维护工具,支持快速集成新领域知识。
使用场景
- 企业内部专属问答系统:整合企业私有知识,为员工提供精准业务咨询服务。
- 领域知识服务平台:面向***、***、***等领域,构建专业知识问答应用。
- 大模型应用开发:为开发者提供知识增强能力,加速大模型应用落地。
配置说明
标签命名规则
镜像标签遵循格式:<ragsdk版本>-<芯片系列>-<操作系统>-<Python版本>
各字段说明:
| 字段 | 示例值 | 描述 |
|---|---|---|
| RAGSDK版本 | 26.0.0 | RAGSDK版本号 |
| 芯片系列 | 910, A3, 300I Pro | 目标昇腾芯片系列 |
| 操作系统 | ubuntu22.04, openeuler24.03 | 基础操作系统 |
| Python版本 | py3.11 | 内置Python版本 |
构建镜像
bashgit clone https://gitcode.com/Ascend/RAGSDK.git && cd RAGSDK/docker docker build --network host --build-arg CANN_VERSION={cann版本} -t {你的仓库}/ragsdk:latest -f Dockerfile.<芯片系列>.<操作系统> .
运行容器
bashdocker run -itd --name=rag_sdk_demo --network=host \ --device=/dev/davinci_manager \ --device=/dev/hisi_hdc \ --device=/dev/devmm_svm \ --device=/dev/davinci0 \ -v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \ -v /usr/local/sbin:/usr/local/sbin:ro \ -v /path/to/model:/path/to/model:ro \ {镜像名}:{标签} bash
参数说明
/path/to/model:模型存储目录,需加载模型时放入此目录。{镜像名}:{标签}:指定运行的RAGSDK镜像及标签。
进入容器
bashdocker exec -it rag_sdk_demo bash
使用示例
容器内示例代码路径:/workspace/RAGSDK_Samples,也可通过链接获取最新示例:
RAGSDK Demo Samples
开发扩展
基于RAGSDK镜像二次开发:
dockerfileFROM swr.cn-south-1.myhuaweicloud.com/ascendhub/ragsdk:26.0.0-910b-ubuntu22.04-py3.11 RUN apt update -y && \ apt install gcc ... # 自定义操作
支持硬件
| 芯片系列 | 产品示例 | 架构 |
|---|---|---|
| Atlas 910 | Atlas 800T A2、Atlas 900 A2 PoD | ARM64/X86_64 |
| Atlas A3 | Atlas 800T A3 | ARM64/X86_64 |
| Atlas 300I Pro | Atlas 300I Pro、Atlas 300V Pro | ARM64/X86_64 |
许可证
查看RAGSDK及相关软件的许可证信息,预装包(Python、系统库等)受各自许可证约束。
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。
DockerHub 原生拉取命令
docker pull ascendai/ragsdk:<标签>
用户好评
来自真实用户的反馈,见证轩辕镜像的优质服务