opensearchproject/data-prepper

OpenSearch Data Prepper Docker 镜像文档

1. 镜像概述和主要用途

OpenSearch Data Prepper 是 OpenSearch 生态的核心组件，主要用于接收来自 OpenTelemetry Collector 的跟踪数据，通过聚合、转换和标准化处理后，为 OpenSearch Dashboards 提供可分析和可视化的数据支持。该镜像为官方发布的 Docker 镜像，简化了 Data Prepper 的部署和集成流程。

2. 核心功能和特性

• 跟踪数据处理：接收、聚合、转换和标准化 OpenTelemetry 跟踪数据
• Trace Analytics 支持：原生支持 OpenSearch 可观测性插件中的 Trace Analytics 功能
• 生态集成：与 OpenTelemetry Collector、OpenSearch、OpenSearch Dashboards 无缝集成
• 开源合规：基于 Apache 2.0 许可证，100% 开源

3. 使用场景和适用范围

• 分布式系统可观测性：适用于微服务、云原生等分布式架构的跟踪数据收集与分析
• 端到端跟踪分析：配合 OpenSearch 生态组件实现从数据采集到可视化的全链路跟踪分析
• 日志与指标关联：支持将跟踪数据与日志、指标数据关联，提升问题定位效率

4. 使用方法和配置说明

4.1 镜像拉取

通过 Docker 命令直接拉取最新版本镜像：

bash
docker pull opensearchproject/data-prepper:latest

如需指定版本，可参考 https://hub.docker.com/r/opensearchproject/data-prepper/tags%EF%BC%8C%E4%BE%8B%E5%A6%82%E6%8B%89%E5%8F%96 2.11.0 版本：

bash
docker pull opensearchproject/data-prepper:2.11.0

4.2 依赖组件

Data Prepper 运行需依赖以下组件：

• https://hub.docker.com/r/otel/opentelemetry-collector%EF%BC%9A%E8%B4%9F%E8%B4%A3%E9%87%87%E9%9B%86%E8%B7%9F%E8%B8%AA%E6%95%B0%E6%8D%AE%E5%B9%B6%E5%8F%91%E9%80%81%E8%87%B3 Data Prepper
• https://hub.docker.com/r/opensearchproject/opensearch%EF%BC%9A%E5%AD%98%E5%82%A8%E5%A4%84%E7%90%86%E5%90%8E%E7%9A%84%E8%B7%9F%E8%B8%AA%E6%95%B0%E6%8D%AE
• https://hub.docker.com/r/opensearchproject/opensearch-dashboards%EF%BC%9A%E5%8F%AF%E8%A7%86%E5%8C%96%E8%B7%9F%E8%B8%AA%E5%88%86%E6%9E%90%E7%BB%93%E6%9E%9C
• OpenSearch Dashboards Trace Analytics 插件：提供跟踪分析专用面板（随 OpenSearch Dashboards 插件包内置）

4.3 部署示例（Docker Compose）

以下为包含所有依赖组件的 docker-compose.yml 示例，实现端到端 Trace Analytics 功能：

yaml
version: '3.8'

services:
  # OpenSearch 服务
  opensearch:
    image: opensearchproject/opensearch:latest
    container_name: opensearch
    environment:
      - discovery.type=single-node
      - OPENSEARCH_INITIAL_ADMIN_PASSWORD=StrongPassword123!
      - "DISABLE_SECURITY_PLUGIN=false"
    ports:
      - "9200:9200"
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:9200/_cluster/health"]
      interval: 30s
      timeout: 10s
      retries: 3

  # OpenSearch Dashboards 服务
  opensearch-dashboards:
    image: opensearchproject/opensearch-dashboards:latest
    container_name: opensearch-dashboards
    depends_on:
      opensearch:
        condition: service_healthy
    environment:
      - OPENSEARCH_HOSTS=["http://opensearch:9200"]
      - OPENSEARCH_USERNAME=admin
      - OPENSEARCH_PASSWORD=StrongPassword123!
    ports:
      - "5601:5601"

  # OpenTelemetry Collector 服务
  otel-collector:
    image: otel/opentelemetry-collector:latest
    container_name: otel-collector
    volumes:
      - ./otel-collector-config.yaml:/etc/otelcol/config.yaml
    ports:
      - "4317:4317"  # gRPC 接收端口
      - "4318:4318"  # HTTP 接收端口
    command: ["--config", "/etc/otelcol/config.yaml"]

  # Data Prepper 服务
  data-prepper:
    image: opensearchproject/data-prepper:latest
    container_name: data-prepper
    depends_on:
      opensearch:
        condition: service_healthy
      otel-collector:
        condition: service_started
    volumes:
      - ./data-prepper-config.yaml:/usr/share/data-prepper/pipelines.yaml
    ports:
      - "21890:21890"  # Data Prepper 服务器端口
    environment:
      - OPENSEARCH_HOST=opensearch
      - OPENSEARCH_PORT=9200
      - OPENSEARCH_USERNAME=admin
      - OPENSEARCH_PASSWORD=StrongPassword123!

配置文件说明

1. Data Prepper 配置文件（data-prepper-config.yaml）：

yaml
trace-pipeline:
  source:
    otel_trace_source:
      port: 21890
  processor:
    - trace_peer_forwarder:
  sink:
    - opensearch:
        hosts: ["https://opensearch:9200"]
        username: ${OPENSEARCH_USERNAME}
        password: ${OPENSEARCH_PASSWORD}
        ssl:
          verification_mode: none
        index_type: trace-analytics-raw

2. OpenTelemetry Collector 配置文件（otel-collector-config.yaml）：

yaml
receivers:
  otlp:
    protocols:
      grpc:
      http:

processors:
  batch:

exporters:
  otlp/data-prepper:
    endpoint: "data-prepper:21890"
    tls:
      insecure: true

service:
  pipelines:
    traces:
      receivers: [otlp]
      processors: [batch]
      exporters: [otlp/data-prepper]

4.4 启动与验证

1. 启动所有服务：

bash
docker-compose up -d

2. 验证服务状态：

bash
docker-compose ps

3. 访问 OpenSearch Dashboards（默认地址：http://localhost:5601），通过 Trace Analytics 插件查看跟踪数据。

5. 许可证

OpenSearch Data Prepper 及其 Docker 镜像基于 Apache License, Version 2.0 许可。

6. 贡献与支持

6.1 贡献方式

OpenSearch Data Prepper 是 100% 开源项目，欢迎通过以下方式贡献：

• 提交代码 PR 至 https://github.com/opensearch-project/opensearch-build
• 参与社区讨论与功能规划
• 报告 Bug 或提出改进建议

6.2 支持渠道

• 社区论坛：OpenSearch 社区论坛
• Issue 跟踪：https://github.com/opensearch-project/opensearch-build/issues%EF%BC%88%E7%94%A8%E4%BA%8E%E6%8A%A5%E5%91%8A%E6%9E%84%E5%BB%BA%E6%88%96%E9%95%9C%E5%83%8F%E7%9B%B8%E5%85%B3%E9%97%AE%E9%A2%98%EF%BC%89

7. 参考文档

• 官方文档
• Trace Analytics 快速入门
• https://hub.docker.com/r/opensearchproject/data-prepper