fmgp/prism-indexer

PRISM Indexer Docker镜像文档

1. 镜像概述和主要用途

PRISM Indexer是一个轻量级、高性能的数据索引工具，旨在为用户提供高效的数据索引、存储和查询能力。它能够快速处理结构化和非结构化数据，构建高效索引，并支持低延迟的数据检索，适用于需要实时或近实时数据查询的应用场景。该工具通过Docker容器化部署，具备环境隔离、部署便捷、配置灵活等特点，可快速集成到各类应用架构中。

2. 核心功能和特性

2.1 核心功能

• 多数据格式支持：兼容JSON、CSV、文本等多种结构化和非结构化数据格式
• 高效索引构建：采用优化的索引算法（如基于B树或倒排索引），支持千万级数据快速索引
• 低延迟检索：提供毫秒级数据查询响应能力，支持关键词、范围等多种查询方式
• 数据持久化：支持索引数据本地存储，确保服务重启后数据不丢失
• 可扩展架构：支持通过配置文件自定义索引策略，适应不同场景需求

2.2 关键特性

• 轻量级部署：Docker镜像体积小，资源占用低，支持单机和集群部署
• 高并发处理：内置请求队列和线程池管理，支持高并发索引和查询请求
• 配置灵活：通过环境变量或配置文件自定义索引路径、日志级别、并发数等参数
• 监控支持：提供基础监控指标（索引大小、查询延迟、请求量等），便于运维管理

3. 使用场景和适用范围

3.1 主要使用场景

• 日志数据检索：对应用日志、系统日志等文本数据建立索引，支持按关键词、时间范围快速定位问题日志
• 文档管理系统：为PDF、Word、Markdown等文档内容建立全文索引，实现文档内容快速检索
• 数据分析平台：对预处理后的结构化数据（如用户行为数据、业务指标数据）建立索引，加速分析查询
• 实时监控系统：对监控指标数据（如服务器CPU、内存使用率）建立索引，支持实时告警和历史数据查询

3.2 适用范围

• 中小型应用的数据索引需求
• 对查询延迟敏感的场景（如实时数据展示、交互式查询）
• 资源受限环境（如边缘计算节点、小型服务器）
• 需要快速部署和集成的应用架构

4. 详细使用方法和配置说明

4.1 Docker部署示例

4.1.1 使用docker run命令部署

bash
docker run -d \
  --name prism-indexer \
  -p 8080:8080 \  # 映射服务端口（容器内默认8080）
  -v /host/path/index:/app/index \  # 挂载索引数据目录（持久化数据）
  -v /host/path/config:/app/config \  # 挂载配置文件目录（可选）
  -e INDEX_PATH=/app/index \  # 容器内索引存储路径
  -e LOG_LEVEL=info \  # 日志级别（debug/info/warn/error）
  -e MAX_CONCURRENT_REQUESTS=100 \  # 最大并发请求数
  -e INDEX_REFRESH_INTERVAL=60s \  # 索引自动刷新间隔
  prism/indexer:latest  # 镜像名称及标签

4.1.2 使用docker-compose部署

创建docker-compose.yml文件：

yaml
version: '3.8'
services:
  prism-indexer:
    image: prism/indexer:latest
    container_name: prism-indexer
    restart: unless-stopped  # 异常退出时自动重启
    ports:
      - "8080:8080"
    volumes:
      - ./index-data:/app/index  # 本地索引数据目录
      - ./config:/app/config  # 本地配置文件目录（可选）
    environment:
      - INDEX_PATH=/app/index
      - LOG_LEVEL=info
      - MAX_CONCURRENT_REQUESTS=100
      - INDEX_REFRESH_INTERVAL=60s
      - DATA_FORMAT=json  # 默认数据格式（json/csv/text）
      - QUERY_TIMEOUT=5s  # 查询超时时间
    networks:
      - app-network  # 自定义网络（可选，用于与其他服务通信）

networks:
  app-network:
    driver: bridge

启动服务：

bash
docker-compose up -d

4.2 配置参数说明

4.2.1 环境变量配置

4.2.2 配置文件说明（可选）

若需更复杂的配置（如自定义索引字段、查询规则），可通过挂载配置文件实现。配置文件需命名为config.yaml，放置于/app/config目录（通过-v挂载），示例：

yaml
index:
  fields:  # 自定义索引字段（仅结构化数据生效）
    - name: content
      type: text  # 文本类型（支持全文检索）
    - name: timestamp
      type: datetime  # 时间类型（支持范围查询）
    - name: priority
      type: integer  # 整数类型（支持比较查询）
query:
  default_limit: 100  # 默认查询结果条数
  max_limit: 1000  # 最大查询结果条数限制

4.3 基本操作示例

4.3.1 启动容器后验证服务状态

bash
# 查看容器运行状态
docker ps | grep prism-indexer

# 查看服务日志（验证启动是否正常）
docker logs -f prism-indexer

若日志中出现"PRISM Indexer started successfully on port 8080"，表示服务启动成功。

4.3.2 添加数据到索引

通过HTTP POST请求添加数据（默认API端点：/api/index）：

bash
# 添加单条JSON数据
curl -X POST http://localhost:8080/api/index \
  -H "Content-Type: application/json" \
  -d '{
    "id": "data-001",
    "content": "PRISM Indexer测试数据",
    "timestamp": "2023-10-01T12:00:00Z",
    "priority": 1
  }'

# 批量添加CSV数据（需指定Content-Type为text/csv）
curl -X POST http://localhost:8080/api/index/batch \
  -H "Content-Type: text/csv" \
  -d 'id,content,timestamp,priority
data-002,批量测试数据1,2023-10-01T12:01:00Z,2
data-003,批量测试数据2,2023-10-01T12:02:00Z,3'

4.3.3 查询索引数据

通过HTTP GET请求查询数据（默认API端点：/api/query）：

bash
# 关键词查询（搜索content字段包含"测试"的数据）
curl "http://localhost:8080/api/query?q=测试"

# 条件查询（timestamp >= 2023-10-01且priority > 1）
curl "http://localhost:8080/api/query?timestamp>=2023-10-01T00:00:00Z&priority>1"

# 限制返回条数
curl "http://localhost:8080/api/query?q=测试&limit=10"

4.3.4 停止和重启容器

bash
# 停止容器
docker stop prism-indexer

# 重启容器
docker restart prism-indexer

# 删除容器（保留数据卷）
docker rm prism-indexer

5. 注意事项

• 索引数据目录（INDEX_PATH）需通过-v挂载到宿主机，避免容器删除后数据丢失
• 对于大量数据索引场景，建议适当调大MAX_CONCURRENT_REQUESTS和INDEX_REFRESH_INTERVAL，平衡性能和资源占用
• 生产环境中建议设置LOG_LEVEL=warn或error，减少日志量；调试时使用debug级别
• 若出现索引性能下降，可通过监控指标（如查询延迟、索引大小）调整MAX_INDEX_SIZE或分片索引（多实例部署）