atlassian/dynamodb-elasticsearch-indexer

DynamoDB-Elasticsearch Indexer 镜像文档

镜像概述

DynamoDB-Elasticsearch Indexer 是一款用于将 Amazon DynamoDB 表数据索引至 Elasticsearch 的工具，专门设计为作为主应用的 sidecar（边车）容器运行，以实现数据的实时或近实时同步与索引功能。

核心功能与特性

• 数据同步索引：支持将 DynamoDB 表中的数据高效同步并索引到 Elasticsearch，确保 Elasticsearch 中的数据与 DynamoDB 源数据保持一致性。
• Sidecar 部署模式：采用边车架构设计，可直接与主应用容器协同部署，共享网络命名空间，简化集成流程并降低系统耦合度。
• 轻量化集成：无需修改主应用代码即可实现数据索引功能，通过独立容器提供服务，便于维护与升级。

使用场景

适用于需要将 DynamoDB 存储的数据通过 Elasticsearch 实现高效检索、分析或可视化的场景，典型应用包括：

• 电商平台：将商品信息存储在 DynamoDB，通过本工具同步至 Elasticsearch 以支持商品搜索功能。
• 日志系统：原始日志存储于 DynamoDB，需通过 Elasticsearch 进行日志检索、过滤与聚合分析。
• 微服务架构：跨服务数据查询场景下，将特定服务的 DynamoDB 数据同步至 Elasticsearch 以提供统一查询接口。

使用方法与配置说明

基本部署方式

该镜像需作为主应用的 sidecar 运行，通常与主应用部署在同一网络环境（如 Kubernetes Pod 或同一主机网络）。

Docker Run 示例（Sidecar 模式）

bash
docker run -d \
  --name dynamodb-es-indexer \
  --network=host \  # 与主应用共享网络，便于通信
  -v /local/config:/app/config \  # 挂载配置文件目录（根据实际需求调整）
  bitbucket.org/atlassian/dynamodb-elasticsearch-indexer

Docker Compose 示例（与主应用协同部署）

yaml
version: '3'
services:
  main-application:
    image: docker.xuanyuan.run/your-main-app-image:latest
    # 主应用配置（端口、环境变量等）...
  
  dynamodb-es-indexer:
    image: bitbucket.org/atlassian/dynamodb-elasticsearch-indexer
    depends_on:
      - main-application
    network_mode: "service:main-application"  # 共享主应用网络命名空间
    volumes:
      - ./indexer-config:/app/config  # 挂载索引器配置文件（如有）

配置说明

具体配置参数（如 DynamoDB 连接信息、Elasticsearch 地址、索引映射规则等）需参考官方文档。配置文件通常通过挂载卷或环境变量传入，详细配置项及使用指南请查阅官方文档。

官方文档与源码

完整技术文档及源代码地址：https://bitbucket.org/atlassian/dynamodb-elasticsearch-indexer