logiqai/flash

LOGIQ Ingest Server 镜像文档

镜像概述

LOGIQ Ingest Server 是 LOGIQ 平台的核心组件之一，专注于日志、监控指标等数据的采集、预处理与转发。该服务器作为数据管道的入口，支持多种数据源接入，可对原始数据进行过滤、转换和格式化，最终将标准化数据传输至 LOGIQ 存储或分析系统，为日志管理、监控告警和数据分析提供基础数据支撑。

核心功能与特性

• 多数据源支持：兼容主流日志格式（如 JSON、CSV、Plain Text）和监控协议（如 Prometheus、StatsD），支持文件、网络端口（TCP/UDP）、消息队列（Kafka、RabbitMQ）等多种数据接入方式。
• 数据预处理：内置数据过滤（按关键字、字段筛选）、字段提取（正则表达式、JSON 解析）、格式转换（统一标准化输出）功能，降低下游系统处理压力。
• 高可用性设计：支持水平扩展，可通过集群部署实现负载均衡和故障转移，保障大规模数据摄入场景下的稳定性。
• 低延迟传输：采用异步处理机制和批量传输策略，减少数据传输延迟，提升吞吐量。
• 与 LOGIQ 生态集成：无缝对接 LOGIQ 存储引擎、查询分析平台和告警系统，确保数据全链路打通。

适用场景

• 企业级日志管理：集中采集服务器、应用、容器等多源日志，统一接入 LOGIQ 平台进行存储与分析。
• 监控数据汇聚：收集 Prometheus、Grafana 等监控工具产生的指标数据，为实时监控和趋势分析提供数据输入。
• 大规模数据摄入：在云原生、微服务架构中，处理来自数千节点的分布式日志和指标数据。
• 数据标准化：对异构数据源（如不同应用日志格式）进行统一格式化，便于后续查询和可视化。

使用方法与配置说明

快速启动（Docker Run）

通过以下命令快速启动 LOGIQ Ingest Server 容器：

bash
docker run -d \
  --name logiq-ingest \
  -p 514:514/udp \  # 日志接收端口（UDP，如Syslog）
  -p 8080:8080/tcp \  # HTTP API端口（用于数据接入和管理）
  -e INGEST_MODE="standard" \  # 摄入模式（standard/debug）
  -e LOGIQ_PLATFORM_URL="http://logiq-platform:9000" \  # LOGIQ平台地址
  -e DATA_RETENTION_BUFFER="500MB" \  # 本地数据缓存大小
  logiqai/ingest-server:latest

Docker Compose 配置

创建 docker-compose.yml 文件，集成 LOGIQ Ingest Server 与 LOGIQ 平台：

yaml
version: '3'
services:
  logiq-ingest:
    image: logiqai/ingest-server:latest
    container_name: logiq-ingest
    ports:
      - "514:514/udp"
      - "8080:8080/tcp"
      - "9090:9090/tcp"  # gRPC端口（用于高吞吐数据传输）
    environment:
      - INGEST_MODE="standard"
      - LOGIQ_PLATFORM_URL="http://logiq-platform:9000"
      - AUTH_TOKEN="your-logiq-auth-token"  # LOGIQ平台认证令牌
      - SOURCE_KAFKA_BROKERS="kafka:9092"  # Kafka数据源地址（如需）
      - MAX_WORKERS="8"  # 数据处理工作线程数
    volumes:
      - ./ingest-data:/var/lib/logiq-ingest  # 本地数据缓存目录
    restart: unless-stopped
    depends_on:
      - logiq-platform

环境变量配置

数据接入示例

1. 通过HTTP API接入JSON日志

向容器的HTTP端口发送POST请求：

bash
curl -X POST http://localhost:8080/ingest/logs \
  -H "Content-Type: application/json" \
  -d '[{"timestamp": "2024-01-01T12:00:00Z", "source": "app1", "level": "info", "message": "User login success"}]'

2. 通过Syslog（UDP）接入日志

配置应用将Syslog发送至容器UDP端口（默认514）：

bash
logger -n localhost -p user.info "Test syslog message from host" -P 514

注意事项

• 网络配置：确保容器与数据源、LOGIQ平台之间网络通畅，开放必要端口（如8080、514、9090）。
• 资源分配：根据数据量调整CPU/内存资源，建议生产环境至少分配2核4GB内存。
• 认证配置：AUTH_TOKEN需从LOGIQ平台控制台获取，用于数据写入权限验证。
• 数据备份：本地缓存目录（/var/lib/logiq-ingest）建议挂载持久化卷，防止容器重启时数据丢失。

版本信息

• 镜像名称：logiqai/ingest-server
• 最新版本：latest
• 支持架构：amd64、arm64