benb196/crashplan-ffs-puller

crashplan-ffs-puller 镜像说明

镜像概述

本镜像是第三方Golang应用crashplan-ffs-puller的Docker化版本，旨在从Code42 Crashplan的File Forensic Search (FFS) API拉取日志，让用户可在Code42环境外使用这些日志。它支持将日志输出到JSON文件或直接导入Elasticsearch，并通过IP-API集成对日志中的IP地址进行地理位置增强。

核心功能

1. FFS日志拉取: 从Code42 FFS API获取文件事件日志。
2. 多输出方式: 支持JSON文件、Elasticsearch写入、Logstash TCP转发三种输出类型。
3. 地理位置增强: 集成IP-API，对日志中的公网IP进行GeoIP查询，补充位置信息。
4. 监控支持: 提供Prometheus指标，监控事件处理总数、正在进行的查询数量等。
5. 状态化运行: 需挂载持久卷保存状态文件，确保日志拉取的连续性。

使用场景

• 日志分析: 将FFS日志导入Elasticsearch，结合Kibana进行可视化分析。
• 安全监控: 通过Logstash转发日志到SIEM系统，实现安全事件实时监控。
• 数据备份: 将日志保存为JSON文件，进行离线备份或二次处理。

注意事项

1. 开发阶段: 应用仍在开发中，可能存在bug，建议测试环境使用。
2. API限制: Code42 FFS API每分钟最多120次查询，建议页大小设置为1000-***以减少查询次数。
3. 状态持久化: 需挂载本地目录保存状态文件，避免容器重建丢失进度。

配置说明

应用通过JSON配置文件设置，需挂载到容器/etc/crashplan-ffs-puller/config.json路径。配置包含：

• 认证信息: Code42账号密码及API端点地址。
• FFS查询: 定义时间范围、文件名匹配等查询条件。
• 输出设置: 指定输出类型及对应参数（如Elasticsearch地址、Logstash端口）。
• 集成配置: IP-API、Prometheus等功能的开关和参数。

示例配置可参考https://github.com/BenB196/crashplan-ffs-puller/blob/main/docs/example_config.json%E3%80%82

Docker部署示例

Docker Run命令

bash
docker run -d \
  -v /path/to/local/storage:/crashplan-ffs-puller \
  -v /path/to/config.json:/etc/crashplan-ffs-puller/config.json \
  benb196/crashplan-ffs-puller

• /path/to/local/storage: 本地目录，用于保存状态文件和日志输出。
• /path/to/config.json: 本地配置文件路径。

Docker Compose配置（版本3）

yaml
version: "3"
services:
  crashplan-ffs-puller:
    image: benb196/crashplan-ffs-puller
    volumes:
      - /path/to/local/storage:/crashplan-ffs-puller
      - /path/to/config.json:/etc/crashplan-ffs-puller/config.json
    # 若启用Prometheus监控，需暴露端口
    # ports:
    #   - "8080:8080"