optiqrepo/optiq-assist

OptIQ Assist Docker镜像文档

1. 镜像概述和主要用途

OptIQ Assist是一款轻量级中间件工具，旨在实现数据库与OptIQ分类器之间的高效连接与数据交互。通过标准化的数据传输协议和灵活的配置机制，该工具能够简化多源数据库与各类OptIQ分类器（如机器学习分类模型、规则引擎分类器等）的集成流程，支持数据抽取、格式转换、连接管理等核心能力，为数据分析、模型训练、业务决策等场景提供稳定的数据接入通道。

2. 核心功能和特性

2.1 多源数据库支持

• 兼容主流关系型数据库（MySQL、PostgreSQL、Oracle、SQL Server）及非关系型数据库（MongoDB、Redis、Elasticsearch）。
• 支持通过JDBC、ODBC、REST API等多协议接入数据库。

2.2 数据处理能力

• 内置数据格式转换模块，支持将数据库原生数据（如JSON、CSV、表结构数据）转换为OptIQ分类器兼容的输入格式（如特征向量、结构化字典、事件流等）。
• 支持数据过滤与清洗，可通过配置规则对原始数据进行预处理（如去重、缺失值填充、字段映射）。

2.3 连接管理与稳定性

• 集成连接池机制，支持动态调整连接数，优化数据库资源占用。
• 内置健康检查与自动重连功能，保障数据库与分类器连接的高可用性。

2.4 配置灵活性

• 支持通过环境变量、配置文件（如YAML/JSON）或API动态调整连接参数，适配不同场景需求。

3. 使用场景和适用范围

3.1 企业数据分析平台

• 作为数据接入层，将企业内部多源数据库（如业务系统MySQL、用户行为MongoDB）的数据统一接入OptIQ分类器，支撑客户分群、风险评级等分析场景。

3.2 机器学习模型训练数据接入

• 为基于OptIQ分类器的机器学习模型（如文本分类、图像识别模型）提供结构化/非结构化训练数据，支持从数据库实时抽取样本数据并转换为模型输入格式。

3.3 多源数据整合与分类决策

• 在跨系统数据整合场景中，将分散于不同数据库的业务数据（如订单数据、库存数据）汇总后接入OptIQ分类器，实现基于多维度数据的自动分类决策（如订单优先级分类、库存预警分类）。

3.4 轻量化数据网关

• 为小型应用或边缘计算场景提供数据库与OptIQ分类器的连接能力，无需复杂的ETL流程，通过容器化部署快速启动服务。

4. 使用方法和配置说明

4.1 环境要求

• Docker Engine 20.10+ 或 Docker Desktop 4.0+
• 目标数据库与OptIQ分类器网络互通（可通过容器网络、主机网络或跨主机网络实现）

4.2 Docker部署示例

4.2.1 基础部署（docker run）

bash
docker run -d \
  --name optiq-assist \
  --network=my-network \  # 若数据库/分类器在自定义网络，需指定网络
  -e DB_TYPE="mysql" \    # 数据库类型，支持mysql/postgresql/mongodb等
  -e DB_HOST="db-host" \  # 数据库主机地址
  -e DB_PORT="3306" \     # 数据库端口
  -e DB_USER="admin" \    # 数据库访问用户
  -e DB_PASSWORD="password" \  # 数据库访问密码
  -e DB_DATABASE="analytics_db" \  # 目标数据库名
  -e OPTIQ_CLASSIFIER_URL="http://optiq-classifier:8080/api/classify" \  # OptIQ分类器API地址
  -e CONNECTION_POOL_SIZE="10" \  # 数据库连接池大小
  optiq/assist:latest

4.2.2 多环境配置（docker-compose）

创建docker-compose.yml文件：

yaml
version: '3.8'
services:
  optiq-assist:
    image: optiq/assist:latest
    container_name: optiq-assist
    restart: always
    networks:
      - optiq-network  # 与数据库、分类器共享网络
    environment:
      # 数据库配置
      DB_TYPE: "postgresql"
      DB_HOST: "pg-db"  # 数据库服务名（同网络内可直接访问）
      DB_PORT: "5432"
      DB_USER: "dbuser"
      DB_PASSWORD: "dbpass123"
      DB_DATABASE: "user_profiles"
      # OptIQ分类器配置
      OPTIQ_CLASSIFIER_URL: "http://classifier-service:9000/v1/predict"
      OPTIQ_TIMEOUT: "30s"  # 分类器请求超时时间
      # 连接与数据处理配置
      CONNECTION_POOL_SIZE: "15"
      DATA_FETCH_INTERVAL: "60s"  # 数据定时拉取间隔
      DATA_FORMAT: "json"  # 输出至分类器的数据格式（json/csv/protobuf）
    volumes:
      - ./config:/app/config  # 挂载本地配置文件（可选，优先级高于环境变量）

  # 示例：同网络中的PostgreSQL数据库（实际部署时可替换为现有数据库）
  pg-db:
    image: postgres:14
    container_name: pg-db
    environment:
      POSTGRES_USER: "dbuser"
      POSTGRES_PASSWORD: "dbpass123"
      POSTGRES_DB: "user_profiles"
    networks:
      - optiq-network

networks:
  optiq-network:
    driver: bridge

启动服务：

bash
docker-compose up -d

4.3 核心配置参数说明

4.3.1 环境变量配置

4.3.2 配置文件优先级

配置优先级从高到低为：挂载的本地配置文件（/app/config/config.yaml） > 环境变量 > 镜像默认配置。

4.4 启动与验证步骤

步骤1：拉取镜像

bash
docker pull optiq/assist:latest

步骤2：启动服务

根据4.2节的部署示例启动容器（单容器或docker-compose）。

步骤3：验证容器状态

bash
# 检查容器运行状态
docker ps | grep optiq-assist

# 查看日志（验证连接是否成功）
docker logs -f optiq-assist

• 成功日志示例：[INFO] Database connection established (type: postgresql, host: pg-db)、[INFO] Connected to OptIQ classifier at http://classifier-service:9000/v1/predict。

步骤4：测试数据交互

通过OptIQ分类器的日志或接口验证数据是否正常传输，或执行容器内测试命令（若支持）：

bash
docker exec -it optiq-assist /app/test-connection  # 测试数据库与分类器连接

4.5 常见问题处理

• 数据库连接失败：检查DB_HOST/DB_PORT是否正确，网络是否互通，数据库用户权限是否允许远程访问。
• 分类器请求超时：增大OPTIQ_TIMEOUT值，或检查分类器服务是否正常运行。
• 数据格式不兼容：通过DATA_FORMAT指定分类器支持的格式，或在配置文件中自定义字段映射规则。