benfoster/ditto

Ditto

镜像概述和主要用途

Ditto是Event Store的集群复制工具。它通过订阅源集群的特定流，并将这些流复制到目标集群来实现功能。该工具设计为可通过Docker作为独立应用运行，使用Event Store订阅组订阅源服务器/集群。

大部分代码基于事件消费者模板，自动处理Event Store连接管理，并通过Serilog进行日志记录。应用配置为本地使用Seq，生产环境使用Datadog。

核心功能和特性

• 集群复制：订阅源集群特定流并复制到目标集群
• 灵活配置：支持通过JSON文件(appsettings.json)或环境变量进行配置
• 连接管理：自动处理Event Store连接，减少手动维护成本
• 日志集成：支持Serilog日志框架，本地集成Seq，生产环境集成Datadog
• 幂等性保障：基于Event Store的流和事件标识符提供幂等性支持
• 指标暴露：以Prometheus格式在指定端点暴露 metrics
• 性能优化：可配置缓冲区大小和复制节流间隔，适应不同负载场景

使用场景和适用范围

适用于需要在Event Store集群间进行流复制的场景，特别是：

• 跨集群数据同步
• 灾备数据复制
• 多环境（开发/测试/生产）数据同步
• 需要显式指定复制流（避免复制内部系统流）的场景

详细使用方法和配置说明

Docker镜像获取

Docker镜像托管于https://hub.docker.com/r/benfoster/ditto%EF%BC%8C%E5%8F%AF%E9%80%9A%E8%BF%87%E4%BB%A5%E4%B8%8B%E5%91%BD%E4%BB%A4%E6%8B%89%E5%8F%96%EF%BC%9A

bash
docker pull benfoster/ditto

配置说明

应用可通过JSON文件(appsettings.json)或环境变量进行配置，具体参数如下：

幂等性

事件将无修改地复制。Event Store基于流和事件标识符提供尽力而为的幂等性。如果启用版本检查（见上文），则Event Store保证幂等性。更多信息。

指标

指标以Prometheus格式暴露在http://localhost:5000/metrics。

复制注意事项

Ditto最初设计用于复制$all系统流，但这会导致复制许多不需要的内部流/事件。由于https://github.com/EventStore/EventStore/issues/718%E5%BF%BD%E7%95%A5%E7%B3%BB%E7%BB%9F%E6%B5%81%EF%BC%8C%E5%9B%A0%E6%AD%A4%E5%BB%BA%E8%AE%AE%E6%98%BE%E5%BC%8F%E6%8C%87%E5%AE%9A%E8%A6%81%E5%A4%8D%E5%88%B6%E7%9A%84%E6%B5%81%E3%80%82

通常订阅类别流（如$ce-emails），然后在目标集群上填充原始流，例如：

!Ditto工作流程

本地运行

要运行示例，克隆仓库并执行：

bash
docker-compose -f docker-compose.yml -f docker-compose.apps.yml up --build

这将启动：

1. 源Event Store：http://localhost:2113
2. 目标Event Store：http://localhost:4113
3. Localstack
4. SEQ：http://localhost:5341
5. Ditto（默认）
6. Ditto（Kinesis）

Docker设置会自动在源Event Store中植入"customer"事件，可在http://localhost:2113/web/index.html#/streams/$ce-customer查看，并为$ce-customer类别流设置持久化订阅。

Ditto将连接到持久化订阅并开始消费事件。

测试复制

使用Event Store HTTP API在源上创建客户事件：

bash
curl --location --request POST 'http://localhost:2113/streams/customer-6d3d4dca-9889-416b-a266-4bf760261f01' \
-u admin:changeit \
-H 'Content-Type: application/vnd.eventstore.events+json' \
--data-raw '[
    {
        "eventId": "ab932527-5b9a-4868-82f3-42194bbfd022",
        "eventType": "customer_registered",
        "data": {
            "first_name": "John",
            "last_name": "Smith",
            "phone_number": "0111111111111"
        },
        "metadata": {
            "source": "ditto"
        }
    }
]'

然后可在http://localhost:2113/web/index.html#/streams/customer-6d3d4dca-9889-416b-a266-4bf760261f01查看流，并在http://localhost:2113/web/index.html#/streams/$ce-customer查看$ce-customer类别流中的事件。

Ditto会将此事件复制到目标服务器/集群，stdout和SEQ中会显示类似以下输出：

Replicating customer_registered #0 from customer-cbea713f-b396-46f4-8c67-81e04b37d334 (Original Event: #16) completed in 17.7 ms

最后可在目标服务器的http://localhost:4113/web/index.html#/streams/customer-6d3d4dca-9889-416b-a266-4bf760261f01查看相同流。