cloudcustodian/mailer

Cloud Custodian

 ![]([] ![]([] ![]([] ![]([***]

镜像概述和主要用途

Cloud Custodian是用于管理公有云账户和资源的规则引擎。它允许用户定义策略，以实现良好管理的云基础设施，既安全又能优化成本。它将组织中的许多临时脚本整合为一个轻量灵活的工具，提供统一的指标和报告。

Custodian可用于管理AWS、Azure和GCP环境，通过确保实时符合安全策略（如加密和访问要求）、标签策略，以及通过未使用资源的清理和非工作时间资源管理实现成本控制。

Custodian策略以简单的YAML配置文件编写，用户可在其中指定资源类型（EC2、ASG、Redshift、CosmosDB、PubSub Topic等）的策略，并由过滤器和操作的词汇表构建而成。

它与每个云提供商的原生无服务器功能集成，通过内置配置提供策略的实时执行，也可作为服务器上的简单定时任务运行，以针对大型现有资源集群执行。

核心功能和特性

• 全面的公有云服务支持：丰富的操作和过滤器库，用于构建策略，支持各类公有云服务和资源。
• 灵活的资源过滤：支持基于嵌套布尔条件对资源进行任意过滤。
• 策略试运行：可对任何策略进行试运行，查看其执行效果。
• 自动配置无服务器功能和事件源：（AWS CloudWatchEvents、AWS Config Rules、Azure EventGrid、GCP AuditLog & Pub/Sub等）。
• 云原生指标输出：提供与策略匹配的资源的云提供商原生指标。
• 结构化输出到云存储：将匹配策略的资源信息输出到云原生对象存储。
• 智能缓存使用：最小化API调用。
• 多账户/订阅/项目支持：支持多账户、订阅或项目的使用场景。
• 经过实战检验：已在一些超大型云环境中投入生产使用。

使用场景和适用范围

• 安全合规管理：确保云资源实时符合安全策略（如加密要求、访问控制）。
• 标签策略执行：强制资源遵循组织的标签规范，便于资源管理和成本分配。
• 成本优化：清理未使用资源、管理非工作时间资源（如自动关闭非工作时间的开发环境实例）。
• 多云环境治理：在AWS、Azure、GCP等多云环境中实施统一的资源管理策略。
• 实时资源监控：通过云原生事件源监控资源变更，实时执行策略操作。

详细使用方法和配置说明

策略文件示例

以下是AWS资源的策略示例，涵盖跨账户访问控制、未加密卷实例终止、标签合规性管理等场景：

yaml
policies:
  - name: s3-cross-account
    description: |
      检查S3存储桶的跨账户访问权限，并移除跨账户访问。
    resource: aws.s3
    region: us-east-1
    filters:
      - type: cross-account
    actions:
      - type: remove-statements
        statement_ids: matched

  - name: ec2-require-non-public-and-encrypted-volumes
    resource: aws.ec2
    description: |
      配置Lambda和CloudWatch事件目标，监控所有新实例，终止带有未加密卷的实例。
    mode:
      type: cloudtrail
      role: CloudCustodian-QuickStart
      events:
        - RunInstances
    filters:
      - type: ebs
        key: Encrypted
        value: false
    actions:
      - terminate

  - name: tag-compliance
    resource: aws.ec2
    description: |
      计划对不符合标签合规策略的资源在四天后停止。注意：需要单独的策略使用`marked-for-op`过滤器在四天后实际停止实例。
    filters:
      - State.Name: running
      - "tag:Environment": absent
      - "tag:AppId": absent
      - or:
          - "tag:OwnerContact": absent
          - "tag:DeptID": absent
    actions:
      - type: mark-for-op
        op: stop
        days: 4

策略验证、试运行和执行

命令行方式

shell
# 验证配置（默认在运行时自动执行）
$ custodian validate policy.yml

# 试运行策略（不执行操作），查看匹配的资源
$ custodian run --dryrun -s out policy.yml

# 执行策略
$ custodian run -s out policy.yml

Docker方式运行

shell
# 拉取镜像
$ docker pull cloudcustodian/c7n
$ mkdir output

# 运行策略（仅使用环境变量进行认证）
$ docker run -it \
  -v $(pwd)/output:/home/custodian/output \
  -v $(pwd)/policy.yml:/home/custodian/policy.yml \
  --env-file <(env | grep "^AWS\|^AZURE\|^GOOGLE") \
  cloudcustodian/c7n run -v -s /home/custodian/output /home/custodian/policy.yml

# 运行策略（使用AWS STS生成的凭证）
# 注意：挂载.aws/credentials和.aws/config目录，以便容器使用本地用户的AWS凭证
$ docker run -it \
  -v $(pwd)/output:/home/custodian/output \
  -v $(pwd)/policy.yml:/home/custodian/policy.yml \
  -v $(cd ~ && pwd)/.aws/credentials:/home/custodian/.aws/credentials \
  -v $(cd ~ && pwd)/.aws/config:/home/custodian/.aws/config \
  --env-file <(env | grep "^AWS") \
  cloudcustodian/c7n run -v -s /home/custodian/output /home/custodian/policy.yml

认证配置

Cloud Custodian通过环境变量或云提供商的默认凭证链进行认证：

• AWS：可通过环境变量（AWS_ACCESS_KEY_ID、AWS_SECRET_ACCESS_KEY）、~/.aws/credentials文件或IAM角色（如EC2实例角色）认证。
• Azure：通过环境变量（AZURE_CLIENT_ID、AZURE_CLIENT_SECRET、AZURE_TENANT_ID等）或Azure CLI凭证认证。
• GCP：通过环境变量（GOOGLE_APPLICATION_CREDENTIALS指向服务账号密钥文件）或GCP默认凭证认证。

策略模式配置

策略可配置不同的执行模式，以适应不同场景：

• 定时任务模式（cron）：定期执行策略，适用于批量检查现有资源。
• 事件驱动模式：通过云原生事件源（如AWS CloudTrail、Azure EventGrid）触发，实时响应资源变更。

示例中的ec2-require-non-public-and-encrypted-volumes策略使用cloudtrail模式，通过CloudTrail事件监控RunInstances事件，实时检查新启动的EC2实例。

附加工具

Custodian项目还开发和维护了一系列附加工具：

• c7n-org：多账户策略执行工具。
• c7n-policystream：将Git历史作为策略逻辑变更流。
• c7n-salactus：大规模S3扫描工具。
• c7n-mailer：向用户发送通知消息的参考实现。
• c7n-trailcreator：从CloudTrail追溯标记资源创建者。
• c7n-traildb：CloudTrail索引和时间序列生成，用于仪表盘展示。
• c7n-logexporter：将CloudWatch日志导出到S3。
• cask：通过Docker轻松执行Custodian。
• c7n-guardian：自动化多账户Guard Duty设置。
• omnissm：EC2 Systems Manager自动化工具。
• c7n-sentry：解析CloudWatch日志中的Python跟踪信息，集成到Sentry。
• https://github.com/cloud-custodian/cloud-custodian/tree/master/tools/ops#mugc%EF%BC%9A%E6%B8%85%E7%90%86AWS%E7%8E%AF%E5%A2%83%E4%B8%AD%E9%83%A8%E7%BD%B2%E7%9A%84Cloud Custodian Lambda策略的实用工具。

相关链接

• 官方网站
• 文档
• 开发者安装指南
• 演示视频
• 贡献指南