gathertown/upload-to-s3

upload-to-s3

镜像概述与主要用途

upload-to-s3 是一个 Kubernetes DaemonSet，用于在集群节点上监控特定目录中的文件变化，并自动将文件上传至 Amazon S3 存储桶。其核心功能是通过 inotify-tools 工具监控 hostPath 类型的存储卷，当有新文件（如应用程序崩溃生成的 core dump 文件）写入该目录时，自动完成文件收集与 S3 上传，适用于集群内节点级文件的集中收集、备份与分析场景。

核心功能与特性

1. 文件监控与自动上传

• 基于 inotify-tools 实现对 hostPath 卷的实时文件监控，支持对新增文件的自动检测与上传。
• 主要针对应用程序生成的 core dump 文件（通过修改 /proc/sys/kernel/core_pattern 可将 core dump 定向至监控目录，详见 https://man7.org/linux/man-pages/man5/core.5.html%EF%BC%89%E3%80%82

2. 安全与权限设计

• 使用非特权用户 gather（用户 ID 1000）运行，降低安全风险。
• 监控目录（LOCAL_PATH）需确保用户 gather 具有读（r）权限，以保证文件可被读取与上传。

3. 灵活配置与集成

• AWS 凭证（区域、访问密钥、存储桶名称等）通过环境变量传递，配置简单且易于集成到现有密钥管理体系。
• 支持通过 nodeSelector 硬编码配置，限制 DaemonSet 仅部署在特定节点池，实现资源精准分配。

4. 实现依据

• 基于文章《Handling Core-Dumps in Kubernetes Clusters in GCP》的技术思路开发，专为 Kubernetes 环境下的文件收集场景优化。

使用场景与适用范围

• 应用故障排查：收集集群节点上应用程序崩溃时生成的 core dump 文件，用于离线分析。
• 日志/数据备份：监控节点本地日志目录或临时数据目录，自动上传关键文件至 S3 实现持久化存储。
• 集群文件审计：集中收集节点级特定类型文件，满足合规性审计或数据追溯需求。

使用方法与配置说明

环境变量配置

需通过环境变量传递 AWS 存储桶访问凭证及相关参数，具体如下：

目录权限要求

监控目录（LOCAL_PATH）需确保用户 gather（UID 1000）具有读取权限。可通过以下方式配置：

• 在节点上手动调整目录权限：chmod o+r /path/to/local/dir（不推荐，需持久化）。
• 通过 DaemonSet 初始化容器（initContainer）在启动时设置权限：

  yaml
  initContainers:
  - name: set-permissions
    image: busybox
    command: ["chmod", "o+r", "/path/to/local/dir"]
    volumeMounts:
    - name: host-path-volume
      mountPath: /path/to/local/dir
  

DaemonSet 部署配置

核心配置项说明

• 卷挂载：需挂载 hostPath 类型卷至 LOCAL_PATH 指定的目录。
• 安全上下文：指定运行用户为 gather（UID 1000），确保非特权运行。
• nodeSelector：通过硬编码标签选择器（如 nodepool: core-dump-collector）限制部署节点。

简化 DaemonSet YAML 示例

yaml
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: upload-to-s3
  namespace: default
spec:
  selector:
    matchLabels:
      app: upload-to-s3
  template:
    metadata:
      labels:
        app: upload-to-s3
    spec:
      nodeSelector:
        nodepool: core-dump-collector  # 硬编码节点池标签
      securityContext:
        runAsUser: 1000
        runAsGroup: 1000
      volumes:
      - name: host-path-volume
        hostPath:
          path: /var/log/core-dumps  # 对应 LOCAL_PATH
          type: DirectoryOrCreate
      containers:
      - name: upload-to-s3
        image: gathertown/upload-to-s3:latest  # 假设镜像名称
        env:
        - name: AWS_REGION
          valueFrom:
            secretKeyRef:
              name: aws-credentials
              key: region
        - name: AWS_ACCESS_KEY_ID
          valueFrom:
            secretKeyRef:
              name: aws-credentials
              key: access-key-id
        - name: AWS_SECRET_ACCESS_KEY
          valueFrom:
            secretKeyRef:
              name: aws-credentials
              key: secret-access-key
        - name: AWS_BUCKET_NAME
          value: "my-cluster-file-bucket"
        - name: LOCAL_PATH
          value: "/var/log/core-dumps"
        volumeMounts:
        - name: host-path-volume
          mountPath: /var/log/core-dumps

许可证与仓库

• 许可证：详见 https://github.com/gathertown/upload-to-s3/blob/main/LICENSE 文件。
• 代码仓库：https://github.com/gathertown/upload-to-s3