sealights/on-prem-collector

SL.OnPremise.Agents.Collector 镜像文档

镜像概述

SL.OnPremise.Agents.Collector是Sealights提供的本地收集器代理镜像，用于在本地环境中收集数据并将其发送至Sealights服务器。该镜像支持通过本地YAML配置文件或AWS S3 bucket加载配置，提供HTTP类型的收集器监听器和目标，实现收集器注册及足迹发送等功能。

核心功能与特性

• 灵活配置加载：支持本地YAML配置文件或AWS S3 bucket加载配置
• HTTP协议支持：当前仅支持HTTP类型的收集器监听器和目标
• 多环境部署：适配本地运行、Docker容器及Kubernetes集群环境
• 可配置日志级别：收集器和目标均支持debug/info/warn/error日志级别（默认info）
• AWS集成：支持通过AWS访问密钥或IAM角色从S3加载配置

使用场景

• 本地环境数据收集与上报
• Docker容器化部署的收集器服务
• Kubernetes集群中的收集器服务编排
• 需要通过AWS S3集中管理配置的场景

详细使用方法

配置说明

配置文件格式（YAML）

收集器通过YAML格式的配置文件进行配置，示例如下：

yaml
# servicePort：收集器API监听端口
servicePort: 80
# serviceName：收集器服务名称
serviceName: collector
# serviceHost：收集器API绑定主机
serviceHost: 0.0.0.0

# collectors：收集器监听器列表
collectors:
    # name：收集器名称
    - name: collector1
      # type：收集器类型（当前仅支持"http"）
      type: http
      # properties：收集器监听器属性
      properties:
        # logLevel：收集器日志级别（debug/info/warn/error，默认info）
        logLevel: info
        # port：收集器监听端口
        port: 8080
        # serverUrl：Sealights服务器URL（用于收集器代理注册）
        serverUrl: https://<your-host>.sealights.co/
      # target：收集器目标（用于发送足迹等）
      target:
        # name：目标名称
        name: http-target
        # type：目标类型（当前仅支持"http"）
        type: http
        properties:
            # logLevel：目标日志级别（debug/info/warn/error，默认info）
            logLevel: info
            # serverUrl：Sealights服务器API URL（用于发送足迹）
            serverUrl: https://<your-host>.sealights.co/api
            # token：Sealights认证令牌
            token: <your-token>

配置加载方式

1. 本地配置文件加载

直接将配置文件（config.yaml）放置于收集器可访问路径。

2. AWS S3配置加载

通过AWS S3 bucket加载配置，需设置以下环境变量：

• 方式1：使用AWS访问密钥

  • AWS_ACCESS_KEY_ID：AWS访问密钥ID
  • AWS_SECRET_ACCESS_KEY：AWS密钥
  • AWS_REGION：AWS默认区域
  • AWS_S3_BUCKET：AWS S3 bucket名称
  • AWS_S3_FILE_PATH：S3中配置文件路径

• 方式2：使用AWS IAM角色（需参考https://docs.aws.amazon.com/AmazonECS/latest/developerguide/task-iam-roles.html%EF%BC%89

  • AWS_REGION：AWS默认区域
  • AWS_S3_BUCKET：AWS S3 bucket名称
  • AWS_S3_FILE_PATH：S3中配置文件路径

部署与使用

1. 本地运行（非Docker方式）

下载收集器

从Sealights提供的URL下载收集器程序。

运行收集器

1. 创建config.yaml文件并保存至当前目录
2. 执行命令：

   bash
   ./collector serve
   

2. Docker镜像（本地配置）

拉取镜像

bash
docker pull sealights/on-prem-collector:latest

运行容器

1. 创建config.yaml文件并保存至当前目录
2. 执行命令（根据配置文件暴露相应端口）：

   bash
   docker run -it --rm \
       -v $(pwd)/config.yaml:/collector/config.yaml \
       -p 80:80 -p 8080:8080 \
       sealights/on-prem-collector:latest
   

   注意：-p参数需根据config.yaml中配置的servicePort和collectors.properties.port进行调整

3. Docker镜像（S3配置）

拉取镜像

bash
docker pull sealights/on-prem-collector:latest

运行容器

执行命令（设置AWS环境变量）：

bash
docker run -it --rm \
    -p 80:80 -p 8080:8080 \
    -e AWS_ACCESS_KEY_ID=<your-access-key-id> \
    -e AWS_SECRET_ACCESS_KEY=<your-secret-access-key> \
    -e AWS_DEFAULT_REGION=<your-default-region> \
    -e AWS_S3_BUCKET=<your-s3-bucket> \
    -e AWS_S3_FILE_PATH=<your-s3-file-path> \
    sealights/on-prem-collector:latest

注意：-p参数需根据S3中配置文件的端口设置进行调整

4. Kubernetes部署

创建ConfigMap（配置文件）

yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: collector-config
data:
  CONFIG: |-
    servicePort: 80
    serviceName: collector
    serviceHost: 0.0.0.0
    collectors:
      - name: http1
        type: http
        properties:
          logLevel: info
          port: 8080
          serverUrl: https://<your-host>.sealights.co/
        target:
          name: http
          type: http
          properties:
            logLevel: info
            serverUrl: https://<your-host>.sealights.co/api
            token: <your-token>

创建Service（服务暴露）

yaml
apiVersion: v1
kind: Service
metadata:
  name: collector
spec:
  ports:
    - name: http-80
      port: 80
      protocol: TCP
      targetPort: 80
    - name: http-8080
      port: 8080
      protocol: TCP
      targetPort: 8080
  selector:
    app: collector
  type: ClusterIP

创建Deployment（部署）

yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: collector
  labels:
    app: collector
spec:
  replicas: 1
  selector:
    matchLabels:
      app: collector
  template:
    metadata:
      labels:
        app: collector
    spec:
      containers:
        - name: collector
          image: sealights/on-prem-collector:latest
          volumeMounts:
            - name: config-volume
              mountPath: ./collector/config
          ports:
            - containerPort: 8080
              name: http-8080
            - containerPort: 80
              name: http-80
      volumes:
        - name: config-volume
          configMap:
            name: collector-config
            items:
              - key: CONFIG
                path: config.yaml

执行部署

bash
kubectl apply -f configmap.yaml  # 假设ConfigMap文件名为configmap.yaml
kubectl apply -f service.yaml
kubectl apply -f deployment.yaml