octoblu/job-log-to-elasticsearch

job-log-to-elasticsearch镜像说明

镜像概述

job-log-to-elasticsearch镜像专注于日志数据的流转处理，核心功能是从作业日志源中提取数据，并将其存储到Elasticsearch搜索引擎中，方便后续的日志检索、分析与监控。

核心功能

1. 作业日志数据提取：从指定的作业日志源获取日志内容
2. Elasticsearch存储：将提取的日志数据批量或实时写入Elasticsearch
3. 数据格式适配：自动适配日志数据格式与Elasticsearch的索引结构

使用场景

• 企业作业系统的日志集中存储与分析
• 运维监控中的日志检索需求
• 数据平台中作业日志的结构化存储

配置说明

需通过环境变量配置Elasticsearch连接信息：

• ES_HOST：Elasticsearch服务地址（必填）
• ES_PORT：Elasticsearch服务端口（默认9200）
• ES_INDEX：目标索引名称（默认job_logs）
• LOG_SOURCE：作业日志源路径或地址（必填）

部署示例

Docker Run命令

bash
docker run -d \
  -e ES_HOST=192.168.1.100 \
  -e ES_PORT=9200 \
  -e ES_INDEX=production_job_logs \
  -e LOG_SOURCE=/path/to/job/logs \
  octoblu/job-log-to-elasticsearch

Docker Compose示例

yaml
version: '3'
services:
  job-log-to-es:
    image: octoblu/job-log-to-elasticsearch
    environment:
      ES_HOST: elasticsearch
      ES_PORT: 9200
      ES_INDEX: job_logs
      LOG_SOURCE: /app/logs
    volumes:
      - ./logs:/app/logs
    depends_on:
      - elasticsearch
  elasticsearch:
    image: elasticsearch:7.17.0
    ports:
      - "9200:9200"
    environment:
      - discovery.type=single-node