project42/logstash

Instantiate Sidekick CI Stack 镜像文档

镜像概述

本Docker容器本身不执行独立功能，而是作为辅助容器（Sidekick Container），用于从Git仓库拉取配置文件变更并通过rsync同步到实际业务容器中。最初为配合Logstash及其config.autorestart功能开发，后抽象为通用工具，支持各类需要动态更新配置的应用场景。

核心功能与特性

• Git配置同步：自动克隆/拉取指定Git仓库的配置文件
• Rsync文件同步：将拉取的配置文件同步到目标容器或目录
• 配置模板化：支持将环境变量注入指定配置文件（通过TEMPLATE_FILES参数）
• 灵活部署：支持自定义工作目录、仓库路径、分支及密钥配置
• 兼容性扩展：不仅限于Logstash，可适配任何需要动态配置更新的应用

使用场景

• 需要动态更新配置文件的应用（如Logstash、Nginx、Redis等）
• CI/CD流程中配置文件的实时同步
• 多环境（开发/测试/生产）配置隔离与快速切换
• 需要通过Git版本控制管理配置文件的场景

使用方法与配置说明

环境变量配置

容器运行时通过环境变量进行配置，以下为详细参数说明：

Docker部署示例

基础运行命令

bash
docker run -d \
  --name sidekick-ci \
  -e WORKING_DIR="/app/config" \
  -e GIT_REPO_URL="git@github.com:example/config-repo.git" \
  -e GIT_REPO_BRANCH="main" \
  -e DEPLOY_PUB_KEY="ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQ..." \
  -e KNOWN_HOSTS="github.com ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQ..." \
  -e TEMPLATE_FILES="logstash.conf,nginx.conf" \
  -e LOG_LEVEL="info" \
  -v /path/to/secret:/run/secrets \  # 挂载私钥文件目录
  your-registry/sidekick-ci:latest

配合Logstash使用的docker-compose示例

yaml
version: '3'
services:
  logstash:
    image: docker.elastic.co/logstash/logstash:8.11.3
    volumes:
      - /app/logstash/config:/usr/share/logstash/config
    restart: always
    depends_on:
      - sidekick-ci

  sidekick-ci:
    image: your-registry/sidekick-ci:latest
    environment:
      - WORKING_DIR="/app"
      - GIT_REPO_URL="git@github.com:example/logstash-configs.git"
      - GIT_REPO_BRANCH="production"
      - DEPLOY_PUB_KEY="ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQ..."
      - KNOWN_HOSTS="github.com ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQ..."
      - COPY_SOME_FILES="pipelines.yml,logstash.yml"
      - COPY_SOME_FILES_DST="/usr/share/logstash/config"
      - TEMPLATE_FILES="logstash.conf"
      - ELASTICSEARCH_HOST="elasticsearch:9200"
    volumes:
      - /app/logstash/config:/usr/share/logstash/config  # 同步配置到Logstash
      - /run/secrets/git-private-key:/run/secrets/id_rsa  # 挂载私钥

配置文件模板化使用说明

当设置TEMPLATE_FILES参数时，容器会自动将指定文件中的环境变量占位符替换为实际值。例如，若配置文件logstash.conf包含：

input {
  beats {
    port => ${BEATS_PORT}
  }
}
output {
  elasticsearch {
    hosts => ["${ELASTICSEARCH_HOST}"]
  }
}

则需在环境变量中提供BEATS_PORT和ELASTICSEARCH_HOST，容器会自动生成替换后的配置文件并同步到目标目录。