eosphorosai/dbgpt

DB-GPT：基于私有大模型的数据库交互革新方案

概述

DB-GPT 是一个实验性开源项目，通过本地化部署的 GPT 大模型实现与数据和环境的交互。该方案确保数据全程私有化处理，无泄露风险，可实现 100% 数据安全管控。

安装指南

支持 Linux、macOS、Windows 系统，提供多种部署方式，具体步骤可参考官方文档：

部署方式

• 分步安装：适合需要自定义配置的场景，详见分步部署指南。
• Docker 快速部署：单容器部署，适合快速试用，参考Docker 安装文档。
• Docker Compose 集群部署：多服务协同部署，支持复杂场景，参考Docker Compose 指南。

扩展说明

• 如需部署 LLM 模型，支持单机、集群及 vLLM 加速模式，详见LLM 部署文档。
• 多语言切换：修改 .env 文件中的 LANGUAGE 参数（中文：zh，英文：en）。

核心功能

1. 私有知识库问答与数据处理

• 支持 PDF、Word、Excel、Markdown 等多格式文件上传，可通过插件扩展数据提取能力。
• 统一向量存储与检索：将结构化/非结构化数据转换为向量，存储于向量数据库（如 Chroma、Milvus），支持高效相似性查询。

2. 多数据源自然语言交互

• 数据源支持：已适配 MySQL、PostgreSQL、Spark、DuckDB、SQLite、MSSQL、ClickHouse 等，后续将扩展 Oracle、MongoDB 等。
• 交互能力：通过自然语言直接查询数据库、Excel、数据仓库，自动生成分析报告及可视化图表。

3. 多智能体与插件系统

• 支持自定义插件开发，原生兼容 Auto-GPT 插件模型，智能体协议遵循 Agent Protocol 标准。
• 可扩展任务能力，如自动化数据处理、报告生成、跨工具协作等。

4. Text2SQL 微调框架

• 基于 DB-GPT-Hub 子模块，提供轻量化微调工具，支持 LoRA/QLoRA/P-tuning 等方法，针对 Text2SQL 任务优化。
• 性能亮点：在 Spider 评估数据集上，通过 130 亿参数开源模型微调，执行准确率达 0.789（超过 GPT-4 的 0.762），详见DB-GPT-Hub。

5. 多模型支持

• 开源模型：兼容 LLaMA/LLaMA2、CodeLLaMA、ChatGLM、Qwen、Vicuna、WizardLM 等数十种开源大模型。
• API 代理模型：支持 ***、通义千问、文心一言、ChatGLM 等第三方 API 模型接入。

6. 隐私与安全保障

• 通过私有化大模型部署、数据脱敏、访问控制等技术，确保数据全链路安全，避免外部依赖导致的泄露风险。

技术架构

DB-GPT 核心组件包括：

• 多模型层：支持多类型大模型接入与管理；
• 知识库层：向量存储与检索，实现本地化知识管理；
• 数据接入层：统一接口连接多数据源；
• 智能体层：插件与多智能体协作框架；
• 安全层：数据脱敏与权限控制。

RAG 流程

通过文档解析→文本分段→向量嵌入→检索增强→生成回答的流程，实现基于私有数据的高质量问答。

子模块

• DB-GPT-Hub：Text2SQL 微调工具集，优化模型 SQL 生成能力；
• DB-GPT-Plugins：插件市场，支持 AutoGPT 插件直接运行；
• DB-GPT-Web：配套 Web 交互界面，提供可视化操作入口。

贡献与路线图

贡献方式

提交代码前需运行 black . 格式化，具体规范参考贡献指南。

发展方向

• KBQA 优化：扩展多格式文档支持（代码、图片），集成图数据库（Neo4j、Nebula）；
• 多数据源扩展：覆盖 Oracle、MongoDB、Elasticsearch 等主流数据库；
• 智能体生态：构建插件市场，支持 CoT 推理与可视化集成；
• 可观测性：完善调试工具与成本监控功能。

许可证

采用 MIT 许可证，详情见LICENSE。

项目地址：GitHub，文档：官方文档