skyloud/job-backup-db

skyloud/job-backup-db 镜像文档

镜像概述和主要用途

该镜像用于在任何S3端点上执行数据库自动备份，支持在Kubernetes集群中设置定时任务，适用于多种数据库类型。镜像名称为skyloud/job-backup-db，可在https://hub.docker.com/r/skyloud/job-backup-db%E8%8E%B7%E5%8F%96%E3%80%82

支持的数据库类型

核心功能和特性

• 支持多种数据库类型的备份（Postgres、MongoDB、MariaDB）
• 可对接任何S3兼容存储端点
• 支持在Kubernetes集群中配置定时备份任务
• 通过环境变量灵活配置数据库连接和S3存储参数

使用场景和适用范围

• 需要定期备份数据库的生产环境
• 使用S3兼容存储（如AWS S3、MinIO等）存储备份文件的场景
• Kubernetes集群中的数据库备份自动化需求
• 多类型数据库统一备份策略管理

配置说明

S3存储策略配置

使用前需为备份用户配置S3访问策略，以下是各数据库类型的策略配置示例：

Postgres

创建postgres-prod-backup-policy.json文件，内容如下：

json
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": [
        "arn:aws:s3:::project/",
        "arn:aws:s3:::project/*"
      ]
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:DeleteObject",
        "s3:GetObject",
        "s3:ListBucket",
        "s3:PutObject"
      ],
      "Resource": [
        "arn:aws:s3:::project/prod/postgres/*",
        "arn:aws:s3:::project/prod/postgres"
      ]
    }
  ]
}

在MinIO中配置策略：

bash
mc admin policy add s3 project-prod-postgres-policy s3-postgres-prod-policy.json
mc admin user add s3 project-prod-postgres-user my_very_strong_key_uuid_v4
mc admin policy set s3 project-prod-postgres-policy user=project-prod-postgres-user

MongoDB

创建mongodb-prod-backup-policy.json文件，内容如下：

json
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": [
        "arn:aws:s3:::project/",
        "arn:aws:s3:::project/*"
      ]
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:DeleteObject",
        "s3:GetObject",
        "s3:ListBucket",
        "s3:PutObject"
      ],
      "Resource": [
        "arn:aws:s3:::project/prod/mongodb/*",
        "arn:aws:s3:::project/prod/mongodb"
      ]
    }
  ]
}

在MinIO中配置策略：

bash
mc admin policy add s3 project-prod-mongodb-policy s3-mongodb-prod-policy.json
mc admin user add s3 project-prod-mongodb-user my_very_strong_key_uuid_v4
mc admin policy set s3 project-prod-mongodb-policy user=project-prod-mongodb-user

MariaDB

创建mariadb-prod-backup-policy.json文件，内容如下：

json
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": [
        "arn:aws:s3:::project/",
        "arn:aws:s3:::project/*"
      ]
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:DeleteObject",
        "s3:GetObject",
        "s3:ListBucket",
        "s3:PutObject"
      ],
      "Resource": [
        "arn:aws:s3:::project/prod/mariadb/*",
        "arn:aws:s3:::project/prod/mariadb"
      ]
    }
  ]
}

在MinIO中配置策略：

bash
mc admin policy add s3 project-prod-mariadb-policy s3-mariadb-prod-policy.json
mc admin user add s3 project-prod-mariadb-user my_very_strong_key_uuid_v4
mc admin policy set s3 project-prod-mariadb-policy user=project-prod-mariadb-user

使用方法

Docker 运行

Postgres 备份

bash
docker run --rm -it \
  -e BAGCLI_DATABASE_HOST="postgres.namespace.svc.cluster.local" \
  -e BAGCLI_DATABASE_USER="postgres" \
  -e BAGCLI_DATABASE_PASS="db_password" \
  -e BAGCLI_BUCKET_PATH="bucket/prod/postgres" \
  -e MC_HOST_s3="https://user:password@minio:9000" \
  docker.xuanyuan.run/skyloud/job-backup-db postgres database-name

MongoDB 备份

bash
docker run --rm -it \
  -e BAGCLI_DATABASE_URI="mongodb://mongoadmin:secret@mongodb-arbiter-0.mongodb-arbiter-headless.database:27017,mongodb-0.mongodb-headless.database:27017,mongodb-1.mongodb-headless.database:27017/mongodb_d_test?replicaSet=rs0&authSource=admin&retryWrites=true&w=majority" \
  -e BAGCLI_DATABASE_NAME="mongodb_d_test" \
  -e BAGCLI_BUCKET_PATH="bucket/prod/mongodb" \
  -e MC_HOST_s3="https://user:password@minio:9000" \
  docker.xuanyuan.run/skyloud/job-backup-db mongodb

MariaDB 备份

bash
docker run --rm -it \
  -e BAGCLI_MONGODB_HOST="mariadb.namespace.svc.cluster.local" \
  -e BAGCLI_MONGODB_PORT="3306" \
  -e BAGCLI_DATABASE_USER="test" \
  -e BAGCLI_DATABASE_PASS="test" \
  -e BAGCLI_BUCKET_PATH="bucket/prod/mariadb" \
  -e MC_HOST_s3="https://user:password@minio:9000" \
  docker.xuanyuan.run/skyloud/job-backup-db mongodb

Docker Compose

开发中（WIP）

Kubernetes 部署

PostgreSQL

注意：请使用您自己的值更新文件 kubernetes.yaml

bash
kubectl apply -f kubernetes.yaml

MongoDB

注意：请使用您自己的值更新文件 kubernetes_mongodb.yaml

bash
kubectl apply -f kubernetes_mongodb.yaml

MariaDB

注意：请使用您自己的值更新文件 kubernetes_mariadb.yaml

bash
kubectl apply -f kubernetes_mariadb.yaml

更新日志