comworkio/elastic-indices-lifecycle

ElasticSearch 索引生命周期管理工具 (elastic-indices-lifecycle)

镜像概述

elastic-indices-lifecycle 是一个专为 Elasticsearch 设计的 Docker 镜像，用于自动化处理索引的滚动（Rollup）和生命周期管理。该工具旨在以云原生或 GitOps 的方式，帮助开发者轻松管理 ES 索引的创建、聚合与过期清理。

核心功能和特性

• 自动化索引滚动（Rollup）：自动执行 Elasticsearch 索引的 Rollup 任务，优化历史数据存储与查询性能。
• 旧索引清理：根据配置的保留策略（Retention），自动删除过期的旧索引以释放存储空间。
• 灵活的配置方式：支持通过挂载 JSON 配置文件或设置环境变量进行配置。
• Slack 告警通知：内置 Slack 集成，可在任务执行时发送状态通知。
• 多架构支持：同时提供 x86 和 ARM 架构的镜像版本。
• 云原生友好：完美契合 Kubernetes 和 GitOps 部署流程。

使用场景和适用范围

• 需要定期归档和压缩 Elasticsearch 历史索引数据的场景。
• 需要自动化清理过期日志或指标索引，以控制存储成本的场景。
• 采用 GitOps 或云原生架构，希望通过声明式配置管理 ES 索引生命周期的团队。

镜像标签说明

镜像托管于 Docker Hub (comworkio/elastic-indices-lifecycle)，支持 x86 和 ARM 架构。

x86 架构标签：

shell
docker pull comworkio/elastic-indices-lifecycle:latest
docker pull comworkio/elastic-indices-lifecycle:1.0
docker pull comworkio/elastic-indices-lifecycle:1.0-{sha}
docker pull comworkio/elastic-indices-lifecycle:1.0-x86
docker pull comworkio/elastic-indices-lifecycle:1.0-{sha}-x86

ARM 架构标签：

shell
docker pull comworkio/elastic-indices-lifecycle:latest-arm
docker pull comworkio/elastic-indices-lifecycle:1.0-arm
docker pull comworkio/elastic-indices-lifecycle:1.0-{sha}-arm

配置说明

您可以通过挂载 JSON 配置文件 或使用以下环境变量来配置容器。

环境变量列表

注：日期格式默认为 %Y%m%d，要求索引名称类似 {prefix}-20200101。前缀和后缀配置用于精确匹配需要处理的索引。

部署示例

Docker Run 部署

使用环境变量直接运行容器：

shell
docker run -d \
  --name es-lifecycle \
  -e ES_LIFECYCLE_elastic_hosts="elasticsearch.local" \
  -e ES_LIFECYCLE_elastic_port="9200" \
  -e ES_LIFECYCLE_elastic_scheme="http" \
  -e ES_LIFECYCLE_elastic_username="elastic" \
  -e ES_LIFECYCLE_elastic_password="changeme" \
  -e ES_LIFECYCLE_retention="30" \
  -e ES_LIFECYCLE_index_prefixes="logs,metrics" \
  comworkio/elastic-indices-lifecycle:latest

Docker Compose 部署

创建 docker-compose.yml 文件：

yaml
version: '3.8'
services:
  es-lifecycle:
    image: comworkio/elastic-indices-lifecycle:latest
    container_name: es-lifecycle
    environment:
      - ES_LIFECYCLE_elastic_hosts=elasticsearch
      - ES_LIFECYCLE_elastic_port=9200
      - ES_LIFECYCLE_elastic_scheme=http
      - ES_LIFECYCLE_elastic_username=elastic
      - ES_LIFECYCLE_elastic_password=changeme
      - ES_LIFECYCLE_wait_time=43200
      - ES_LIFECYCLE_retention=30
      - ES_LIFECYCLE_index_prefixes=logs,metrics
      - ES_LIFECYCLE_should_slack=on
      - ES_LIFECYCLE_slack_token=xoxb-your-slack-token
      - ES_LIFECYCLE_slack_channel=#es-alerts
    restart: unless-stopped

Kubernetes 部署

项目提供了基于 Kustomize 的 Kubernetes YAML 示例，支持以 GitOps 方式部署多环境。

• 示例文件参考：Kubernetes Kustomize 示例
• 注意：在 K8s 环境中部署时，您需要自行创建所需的 Secret（建议使用 SealedSecret 以维持完全的 GitOps 流程）。官方 Helm Chart 将在后续版本中提供。

相关链接

• 主代码仓库 (GitLab): [***]
• 镜像备份仓库 (GitHub): https://github.com/idrissneumann/elastic-indices-lifecycle
• Docker Hub: https://hub.docker.com/repository/docker/comworkio/elastic-indices-lifecycle