本站支持搜索的镜像仓库：Docker Hub、gcr.io、ghcr.io、quay.io、k8s.gcr.io、registry.gcr.io、elastic.co、mcr.microsoft.com

opensearchproject/data-prepper

OpenSearch Data Prepper的官方Docker镜像，用于数据收集、转换及向OpenSearch集群传输的预处理工具。

14 收藏0 次下载activeopensearchproject镜像

🚀轩辕镜像专业版更稳定💎一键安装 Docker 配置镜像源

中文简介版本下载

🚀轩辕镜像专业版更稳定💎一键安装 Docker 配置镜像源

OpenSearch Data Prepper Docker 镜像文档

1. 镜像概述和主要用途

OpenSearch Data Prepper 是 OpenSearch 生态的核心组件，主要用于接收来自 OpenTelemetry Collector 的跟踪数据，通过聚合、转换和标准化处理后，为 OpenSearch Dashboards 提供可分析和可视化的数据支持。该镜像为官方发布的 Docker 镜像，简化了 Data Prepper 的部署和集成流程。

2. 核心功能和特性

跟踪数据处理：接收、聚合、转换和标准化 OpenTelemetry 跟踪数据
Trace Analytics 支持：原生支持 OpenSearch 可观测性插件中的 Trace Analytics 功能
生态集成：与 OpenTelemetry Collector、OpenSearch、OpenSearch Dashboards 无缝集成
开源合规：基于 Apache 2.0 许可证，100% 开源

3. 使用场景和适用范围

分布式系统可观测性：适用于微服务、云原生等分布式架构的跟踪数据收集与分析
端到端跟踪分析：配合 OpenSearch 生态组件实现从数据采集到可视化的全链路跟踪分析
日志与指标关联：支持将跟踪数据与日志、指标数据关联，提升问题定位效率

4. 使用方法和配置说明

4.1 镜像拉取

通过 Docker 命令直接拉取最新版本镜像：

docker pull opensearchproject/data-prepper:latest

如需指定版本，可参考 Docker Hub 标签列表，例如拉取 2.11.0 版本：

docker pull opensearchproject/data-prepper:2.11.0

4.2 依赖组件

Data Prepper 运行需依赖以下组件：

OpenTelemetry Collector：负责采集跟踪数据并发送至 Data Prepper
OpenSearch：存储处理后的跟踪数据
OpenSearch Dashboards：可视化跟踪分析结果
OpenSearch Dashboards Trace Analytics 插件：提供跟踪分析专用面板（随 OpenSearch Dashboards 插件包内置）

4.3 部署示例（Docker Compose）

以下为包含所有依赖组件的 docker-compose.yml 示例，实现端到端 Trace Analytics 功能：

version: '3.8'

services:
  # OpenSearch 服务
  opensearch:
    image: opensearchproject/opensearch:latest
    container_name: opensearch
    environment:
      - discovery.type=single-node
      - OPENSEARCH_INITIAL_ADMIN_PASSWORD=StrongPassword123!
      - "DISABLE_SECURITY_PLUGIN=false"
    ports:
      - "9200:9200"
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:9200/_cluster/health"]
      interval: 30s
      timeout: 10s
      retries: 3

  # OpenSearch Dashboards 服务
  opensearch-dashboards:
    image: opensearchproject/opensearch-dashboards:latest
    container_name: opensearch-dashboards
    depends_on:
      opensearch:
        condition: service_healthy
    environment:
      - OPENSEARCH_HOSTS=["[***]"]
      - OPENSEARCH_USERNAME=admin
      - OPENSEARCH_PASSWORD=StrongPassword123!
    ports:
      - "5601:5601"

  # OpenTelemetry Collector 服务
  otel-collector:
    image: otel/opentelemetry-collector:latest
    container_name: otel-collector
    volumes:
      - ./otel-collector-config.yaml:/etc/otelcol/config.yaml
    ports:
      - "4317:4317"  # gRPC 接收端口
      - "4318:4318"  # HTTP 接收端口
    command: ["--config", "/etc/otelcol/config.yaml"]

  # Data Prepper 服务
  data-prepper:
    image: opensearchproject/data-prepper:latest
    container_name: data-prepper
    depends_on:
      opensearch:
        condition: service_healthy
      otel-collector:
        condition: service_started
    volumes:
      - ./data-prepper-config.yaml:/usr/share/data-prepper/pipelines.yaml
    ports:
      - "21890:21890"  # Data Prepper 服务器端口
    environment:
      - OPENSEARCH_HOST=opensearch
      - OPENSEARCH_PORT=9200
      - OPENSEARCH_USERNAME=admin
      - OPENSEARCH_PASSWORD=StrongPassword123!

配置文件说明

Data Prepper 配置文件（data-prepper-config.yaml）：

trace-pipeline:
  source:
    otel_trace_source:
      port: 21890
  processor:
    - trace_peer_forwarder:
  sink:
    - opensearch:
        hosts: ["[***]"]
        username: ${OPENSEARCH_USERNAME}
        password: ${OPENSEARCH_PASSWORD}
        ssl:
          verification_mode: none
        index_type: trace-analytics-raw

OpenTelemetry Collector 配置文件（otel-collector-config.yaml）：

receivers:
  otlp:
    protocols:
      grpc:
      http:

processors:
  batch:

exporters:
  otlp/data-prepper:
    endpoint: "data-prepper:21890"
    tls:
      insecure: true

service:
  pipelines:
    traces:
      receivers: [otlp]
      processors: [batch]
      exporters: [otlp/data-prepper]