taskrabbit/elasticsearch-dump

镜像概述

taskrabbit/elasticsearch-dump是一款用于Elasticsearch数据导入导出的工具，支持在Elasticsearch实例间迁移数据、将数据备份到本地文件或S3存储，以及从文件/S3恢复数据到Elasticsearch。该工具支持多种数据类型（如映射、分析器、数据、别名、模板等），并提供并行处理多索引的能力（通过multielasticdump）。

核心功能

• 数据迁移：在不同Elasticsearch实例间迁移索引的映射、分析器、数据等。
• 数据备份：将Elasticsearch索引数据备份到本地文件或S3存储。
• 数据恢复：从本地文件或S3存储恢复数据到Elasticsearch。
• 查询导出：根据自定义查询条件导出结果数据。
• 多索引并行处理：通过multielasticdump工具并行处理多个索引，提升效率。
• 自定义转换：支持通过脚本对数据进行自定义转换后再导入/导出。

使用场景

• 生产环境到测试环境的索引迁移。
• Elasticsearch数据定期备份到本地或S3。
• 从备份文件恢复数据到Elasticsearch。
• 导出特定查询结果用于数据分析。
• 跨Elasticsearch版本的数据迁移（需注意版本兼容性）。

配置说明

常用命令选项：

• --input：源位置（Elasticsearch URL、本地文件路径、S3 URL）。
• --output：目标位置（同input支持的类型）。
• --type：导出/导入的数据类型（如data、mapping、analyzer、alias、template）。
• --limit：每次操作批量处理的对象数量（默认100）。
• --searchBody：自定义查询条件（用于导出符合条件的数据）。
• --fileSize：分割文件的大小（如10mb，用于大文件分割）。

Docker部署示例

拉取镜像

bash
docker pull docker.xuanyuan.run/taskrabbit/elasticsearch-dump

迁移索引（映射+数据）

bash
# 迁移映射
docker run --rm -ti docker.xuanyuan.run/taskrabbit/elasticsearch-dump \
  --input=http://production.es:9200/my_index \
  --output=http://staging.es:9200/my_index \
  --type=mapping

# 迁移数据
docker run --rm -ti docker.xuanyuan.run/taskrabbit/elasticsearch-dump \
  --input=http://production.es:9200/my_index \
  --output=http://staging.es:9200/my_index \
  --type=data

备份数据到本地文件

bash
docker run --rm -ti -v /本地备份目录:/tmp docker.xuanyuan.run/taskrabbit/elasticsearch-dump \
  --input=http://production.es:9200/my_index \
  --output=/tmp/my_index_data.json \
  --type=data

从S3恢复数据到Elasticsearch

bash
docker run --rm -ti taskrabbit/elasticsearch-dump \
  --input="s3://bucket-name/dump/my_index_data.json" \
  --output=[***] \
  --type=data