mezmohq/vector

镜像概述和主要用途

Mezmo Edge镜像是Mezmo Edge产品的容器化部署形式，用于在用户本地环境中运行Mezmo的数据处理层。该数据处理层由Vector提供技术支持，替代Mezmo的SaaS部署模式，允许企业将数据处理流程控制在内部网络中，确保敏感数据不会通过公共互联网传输，从而满足严格的合规要求和数据安全需求。用户可通过该镜像部署Mezmo Edge实例，并配置Mezmo Pipelines对数据进行处理、转换和清理，确保数据在离开内部网络前符合安全标准。

核心功能和特性

• 本地数据处理：支持在用户本地环境部署和运行Mezmo数据处理层，无需依赖Mezmo的SaaS服务，数据处理流程完全在内部网络中完成。
• Vector技术支持：基于Vector构建的数据处理引擎，提供高效、可靠的数据收集、转换和路由能力。
• 合规性保障：通过本地部署确保敏感数据不经过公共互联网传输，满足数据本地化、隐私保护等合规要求（如GDPR、HIPAA等）。
• 可配置Pipelines：允许用户自定义Mezmo Pipelines，通过配置数据处理规则（如过滤、脱敏、格式转换等），在数据离开内部网络前完成必要的清理和处理。
• 灵活部署：以Docker镜像形式提供，支持容器化部署，易于集成到现有容器编排系统（如Kubernetes、Docker Compose）中。

使用场景和适用范围

适用场景

• 企业需处理包含个人身份信息（PII）、商业秘密等敏感数据，且相关***要求数据不得通过公共网络传输。
• 对数据处理位置有严格控制需求，需确保数据处理流程完全在内部数据中心或私有云中进行。
• 需要自定义数据处理规则，以满足特定业务需求或合规标准（如数据脱敏、字段过滤、格式标准化等）。

适用范围

• 、、***等对数据安全和合规性要求极高的行业。
• 拥有大规模内部数据且需进行实时或批量处理的企业。
• 已采用容器化部署架构，希望通过Docker镜像简化Mezmo Edge部署和管理的组织。

使用方法和配置说明

基本部署（Docker Run）

通过以下命令可快速启动Mezmo Edge容器：

bash
docker run -d \
  --name mezmo-edge \
  -v /path/to/local/pipelines:/etc/mezmo/pipelines \  # 挂载自定义Pipelines配置目录
  -v /path/to/local/config:/etc/mezmo/config \        # 挂载配置文件目录
  -e MEZMO_LOG_LEVEL=info \                           # 设置日志级别（可选，默认info）
  -e MEZMO_DATA_DIR=/var/lib/mezmo \                  # 设置数据存储目录（可选，默认/var/lib/mezmo）
  --restart unless-stopped \
  mezmo/edge:latest

参数说明：

• -v /path/to/local/pipelines:/etc/mezmo/pipelines：本地Pipelines配置目录挂载至容器内，用于存放用户自定义的数据处理规则（YAML格式文件）。
• -v /path/to/local/config:/etc/mezmo/config：本地配置文件目录挂载，可包含全局配置（如数据源、输出目标、性能参数等）。
• -e MEZMO_LOG_LEVEL：日志级别，可选值包括debug、info、warn、error，默认info。
• -e MEZMO_DATA_DIR：数据持久化存储目录，用于保存处理过程中的临时数据、状态信息等，建议挂载本地目录以避免容器重启后数据丢失。

Docker Compose部署

对于更复杂的部署需求（如集成监控、日志收集等），可使用Docker Compose：

yaml
version: '3.8'
services:
  mezmo-edge:
    image: mezmo/edge:latest
    container_name: mezmo-edge
    volumes:
      - ./pipelines:/etc/mezmo/pipelines
      - ./config:/etc/mezmo/config
      - mezmo-data:/var/lib/mezmo
    environment:
      - MEZMO_LOG_LEVEL=info
      - MEZMO_CONFIG=/etc/mezmo/config/config.yaml
    restart: unless-stopped
    networks:
      - internal-network  # 连接至内部网络，确保数据处理在私有网络中进行

volumes:
  mezmo-data:  # 持久化数据卷

networks:
  internal-network:
    driver: bridge

配置说明

核心配置文件（config.yaml）

config.yaml为Mezmo Edge的全局配置文件，典型配置示例如下：

yaml
# 数据源配置
sources:
  - type: file
    path: /var/log/app.log  # 监控本地日志文件
    start_at: beginning     # 从文件开头开始读取

# 数据处理Pipelines引用（对应挂载的pipelines目录中的配置文件）
pipelines:
  - name: sanitize-sensitive-data
    path: /etc/mezmo/pipelines/sanitize.yaml  # 引用自定义脱敏Pipelines

# 输出目标配置（数据处理后发送至内部存储或分析系统）
sinks:
  - type: elasticsearch
    endpoints:
      - http://internal-elasticsearch:9200
    index: mezmo-processed-data

Mezmo Pipelines配置

Pipelines配置文件（如sanitize.yaml）用于定义数据处理规则，示例如下（数据脱敏场景）：

yaml
pipeline:
  name: sanitize-sensitive-data
  steps:
    - type: filter
      condition: .message contains "PII"  # 筛选包含PII标记的日志
    - type: transform
      source: .message
      expression: replace(.message, /\b\d{16}\b/, "")  # 替换信用卡号为掩码
    - type: output
      sink: elasticsearch  # 输出至上述config.yaml中定义的elasticsearch sink

验证部署

容器启动后，可通过以下命令查看日志，验证部署状态：

bash
docker logs -f mezmo-edge

若日志中出现Mezmo Edge started successfully，表示部署成功。