cloudviz/usnloader-es6

usnloader Docker镜像文档

1. 镜像概述

usnloader是一款专为Elasticsearch 6版本设计的工具，旨在提供高效、可靠的数据加载与同步能力，简化数据向Elasticsearch 6集群的导入、管理流程，适用于需要与Elasticsearch 6集成的数据处理场景。

2. 核心功能与特性

2.1 版本兼容性

• 严格兼容Elasticsearch 6.x系列版本，确保与目标ES集群的通信稳定性及功能兼容性。

2.2 数据处理能力

• 支持多种数据源格式（如JSON、CSV等）的数据解析与导入。
• 提供批量数据加载机制，优化大规模数据导入性能。

2.3 同步机制

• 支持实时数据同步与定时批量同步两种模式，适配不同数据更新频率需求。
• 内置数据一致性校验逻辑，确保导入数据的准确性。

2.4 配置灵活性

• 支持通过环境变量或配置文件自定义Elasticsearch连接参数（主机、端口、认证信息等）。
• 可配置数据索引规则、字段映射关系等高级参数。

2.5 容器化优势

• 基于Docker容器化部署，简化环境依赖管理，支持快速启停与横向扩展。
• 轻量级设计，资源占用低，适合各类部署环境（物理机、虚拟机、K8s集群等）。

3. 使用场景与适用范围

3.1 日志数据导入

• 将应用日志、系统日志等非结构化/半结构化数据加载至Elasticsearch 6，用于日志存储、检索与分析。

3.2 业务数据索引构建

• 将关系型数据库、文件系统等结构化业务数据导入Elasticsearch 6，构建全文搜索索引，提升数据查询效率。

3.3 数据迁移与备份

• 作为数据迁移辅助工具，在依赖Elasticsearch 6的系统中实现数据迁移、备份与恢复。

3.4 开发测试环境

• 快速搭建Elasticsearch 6数据加载环境，用于功能验证、性能测试或集成测试。

4. 使用方法与配置说明

4.1 基础部署（docker run）

4.1.1 最简启动命令

bash
docker run -d \
  --name usnloader \
  -e ES_HOST=elasticsearch-6-host \
  -e ES_PORT=9200 \
  -v /local/data/path:/data \
  docker.xuanyuan.run/usnloader:latest

4.1.2 含认证信息的启动命令

bash
docker run -d \
  --name usnloader \
  -e ES_HOST=elasticsearch-6-host \
  -e ES_PORT=9200 \
  -e ES_USER=elastic \
  -e ES_PASSWORD=your-es-password \
  -v /local/data/path:/data \
  docker.xuanyuan.run/usnloader:latest

4.2 环境变量配置说明

4.3 配置文件方式部署

如需更复杂的配置（如字段映射、索引模板等），可通过挂载配置文件实现：

4.3.1 配置文件示例（config.yaml）

yaml
elasticsearch:
  host: elasticsearch-6-host
  port: 9200
  auth:
    user: elastic
    password: your-es-password
data:
  source_path: /data
  format: json
  batch_size: 1000
index:
  name: business_data
  shards: 3
  replicas: 1
sync:
  mode: batch
  interval: 300

4.3.2 启动命令（挂载配置文件）

bash
docker run -d \
  --name usnloader \
  -v /local/config.yaml:/app/config.yaml \
  -v /local/data/path:/data \
  docker.xuanyuan.run/usnloader:latest --config /app/config.yaml

5. 注意事项

• 网络连通性：确保容器与Elasticsearch 6集群之间网络通畅，可通过docker exec -it usnloader ping elasticsearch-6-host验证。
• 资源配置：大规模数据导入时，建议根据数据量调整容器CPU/内存资源（如--cpus 2 --memory 4g）。
• 敏感信息保护：ES认证信息等敏感数据建议通过环境变量或加密配置文件传递，避免明文暴露。
• 版本匹配：仅支持Elasticsearch 6.x版本，与其他ES版本（如5.x、7.x）可能存在兼容性问题。