fortifydata/collector-manager

FD Collector Agent Manager 镜像文档

概述

FD Collector Agent Manager是一款轻量级容器化工具，旨在为企业级数据采集架构提供FD Collector代理的集中化管理能力。该工具通过统一界面实现代理全生命周期管理、配置分发、状态监控及任务调度，解决多节点采集场景下的管控复杂度问题，提升数据采集效率与稳定性。

核心功能与特性

• 代理生命周期管理：支持FD Collector代理的一键部署、启动、停止、重启及版本升级，简化分布式环境下的代理运维操作。
• 配置集中管控：提供配置模板管理与批量下发功能，支持动态更新代理采集规则、数据源信息及传输策略，确保配置一致性。
• 实时状态监控：采集并展示各代理节点的运行状态（CPU/内存占用、连接状态、数据吞吐量），支持异常状态自动告警（离线、高负载等）。
• 任务调度与分发：支持创建周期性或触发式数据收集任务，按节点、分组或全局维度调度执行，提供任务优先级与依赖管理。
• 日志与数据管理：汇总代理运行日志与采集数据，支持日志检索、数据分析及数据存储策略配置（本地/远程存储）。
• 高可用架构支持：支持多实例部署与主从模式，实现故障自动切换与服务连续性保障，适配大规模集群环境。

使用场景

• 企业级数据采集系统：适用于需要从多服务器、边缘设备或业务系统采集数据的场景，统一管理分散的采集节点。
• 多节点监控架构：在分布式监控平台中，集中管控各节点的监控代理，确保指标、日志等数据的稳定采集与上报。
• 混合云/跨地域部署：针对混合云、跨数据中心或边缘计算环境，提供跨网络的代理统一管理能力，降低地域分散带来的管控难度。
• 自动化运维体系：集成至CI/CD流程，实现代理部署、配置更新的自动化，适配DevOps工作流需求。

使用方法

1. 基础运行命令

通过Docker直接启动Agent Manager容器：

docker
docker run -d \
  --name fd-agent-manager \
  -p 8080:8080 \  # Web控制台端口
  -p 9090:9090 \  # API服务端口
  -v /opt/fd-agent-manager/config:/app/config \  # 持久化配置目录
  -v /opt/fd-agent-manager/data:/app/data \      # 数据存储目录（含日志、数据库）
  -e MANAGER_PORT=8080 \
  -e API_PORT=9090 \
  -e LOG_LEVEL=info \
  -e DB_TYPE=mysql \
  -e DB_HOST=192.168.1.100 \
  -e DB_PORT=3306 \
  -e DB_USER=agent_admin \
  -e DB_PASSWORD=SecurePass123 \
  -e DB_NAME=fd_agent_manager \
  -e AUTH_ENABLED=true \
  -e ADMIN_USER=admin \
  -e ADMIN_PASSWORD=Admin@2024 \
  --restart unless-stopped \
  fdcollector/agent-manager:latest

2. Docker Compose部署示例

创建docker-compose.yml文件实现多服务协同部署：

yaml
version: '3.8'
services:
  agent-manager:
    image: docker.xuanyuan.run/fdcollector/agent-manager:latest
    container_name: fd-agent-manager
    ports:
      - "8080:8080"
      - "9090:9090"
    volumes:
      - ./config:/app/config
      - ./data:/app/data
    environment:
      - MANAGER_PORT=8080
      - API_PORT=9090
      - LOG_LEVEL=info
      - DB_TYPE=postgres
      - DB_HOST=postgres
      - DB_PORT=5432
      - DB_USER=postgres
      - DB_PASSWORD=postgres_pass
      - DB_NAME=agent_manager
      - AUTH_ENABLED=true
      - ADMIN_USER=admin
      - ADMIN_PASSWORD=Admin@2024
    depends_on:
      - postgres
    restart: unless-stopped

  postgres:
    image: docker.xuanyuan.run/postgres:14-alpine
    container_name: fd-agent-manager-db
    ports:
      - "5432:5432"
    volumes:
      - postgres-data:/var/lib/postgresql/data
    environment:
      - POSTGRES_USER=postgres
      - POSTGRES_PASSWORD=postgres_pass
      - POSTGRES_DB=agent_manager
    restart: unless-stopped

volumes:
  postgres-data:

启动服务：

bash
docker-compose up -d

3. 环境变量配置

4. 配置文件说明

配置文件默认路径为/app/config/config.yaml（需通过Docker卷挂载），用于高级配置：

yaml
# 代理管理策略
agent:
  defaultImage: "fdcollector/agent:latest"  # 默认代理镜像
  deployTimeout: 30s                        # 代理部署超时时间
  upgradeStrategy: "rolling"                # 升级策略：rolling（滚动）/parallel（并行）

# 监控告警配置
monitor:
  metricsInterval: 10s                      # 指标采集间隔
  alert:
    cpuThreshold: 85                        # CPU使用率告警阈值（%）
    memThreshold: 90                        # 内存使用率告警阈值（%）
    retryInterval: 5m                       # 告警重试间隔
    channels:                               # 告警渠道
      - type: "email"
        server: "smtp.example.com:587"
        user: "alerts@example.com"
        password: "smtp_pass"
        recipients: ["admin@example.com"]

# 数据存储配置
storage:
  logRetention: 30d                         # 日志保留时间
  dataCompression: true                     # 是否启用数据压缩

5. 访问与使用流程

1. 控制台访问：容器启动后，通过http://<主机IP>:<MANAGER_PORT>访问Web控制台（默认8080端口）。
2. 初始配置：首次登录使用管理员账号（默认admin/admin123，启用认证时），完成数据库初始化与系统参数配置。
3. 代理管理：在"代理节点"页面添加代理（支持手动录入IP/端口或通过自动发现），执行部署、配置下发等操作。
4. 任务配置：在"任务管理"页面创建采集任务，设置执行周期、目标代理组及数据处理规则。
5. 监控查看：通过"监控面板"实时查看代理状态、任务执行情况及系统告警信息。

注意事项

• 生产环境建议使用外部数据库（MySQL/PostgreSQL）替代默认SQLite，提升数据可靠性与并发性能。
• 启用身份认证（AUTH_ENABLED=true）并修改默认管理员密码，避免未授权访问。
• 确保代理节点与Manager之间网络连通（默认API端口9090），可通过防火墙策略限制访问来源。
• 持久化挂载/app/config与/app/data目录，防止容器重启导致配置与数据丢失。
• 大规模部署（>100个代理节点）时，建议调整MAX_AGENT_COUNT参数并优化数据库性能（如开启连接池）。