jdrydn/mysqldump-to-s3

mysqldump-to-s3

镜像概述和主要用途

mysqldump-to-s3是一个Docker容器，用于将MySQL数据备份直接流式传输到Amazon S3。它通过管道将mysqldump的输出传递给aws-cli，避免本地存储限制，特别设计用于ECS Fargate环境中的定时CRON任务，所有配置通过IAM角色和环境变量传递。备份文件以gzip压缩的SQL格式存储，容器为单进程执行，完成后自动终止。

核心功能和特性

• 直接将MySQL备份流式传输到S3，无需本地临时存储
• 通过管道连接mysqldump和aws-cli，避免存储限制
• 支持gzip压缩备份文件，降低S3存储占用
• 配置完全通过环境变量和IAM角色管理，易于集成到容器编排系统
• 单进程执行，任务完成后容器自动终止，资源占用低
• 可选择备份单个数据库或所有数据库

使用场景和适用范围

• 需要定期备份MySQL数据库到S3的场景
• ECS Fargate环境中作为定时CRON任务运行的数据库备份
• 对本地存储有限制或希望避免临时文件存储的环境
• 需要压缩备份以节省S3存储成本的场景
• 希望通过环境变量和IAM角色管理配置的容器化部署

使用方法和配置说明

拉取镜像

sh
docker pull jdrydn/mysqldump-to-s3:latest

基本运行示例

sh
docker run \
  -e S3_BUCKET=project-backups \
  -e MYSQL_HOST=project.3927e3a82872.us-east-1.rds.amazonaws.com \
  -e MYSQL_USER=root \
  -e MYSQL_PASSWORD=password \
  -e MYSQL_DATABASE=PROJECT \
  jdrydn/mysqldump-to-s3:latest

运行后输出示例：

ACTION: Creating individual dump of PROJECT from project.3927e3a82872.us-east-1.rds.amazonaws.com to s3://project-backups/20190810T050709Z.PROJECT.sql.gz
SUCCESS!

配置参数

通过环境变量配置mysqldump和aws s3：

AWS CLI配置

如需配置aws-cli，请参考https://docs.aws.amazon.com/cli/latest/userguide/cli-chap-configure.html%E3%80%82%E5%9C%A8ECS%E7%8E%AF%E5%A2%83%E4%B8%AD%EF%BC%8C%E5%8F%AF%E9%80%9A%E8%BF%87%E4%B8%BA%E4%BB%BB%E5%8A%A1%E5%AE%9A%E4%B9%89%E9%99%84%E5%8A%A0IAM%E8%A7%92%E8%89%B2%E6%8E%88%E4%BA%88S3%E5%86%99%E5%85%A5%E6%9D%83%E9%99%90%EF%BC%8C%E4%B9%9F%E5%8F%AF%E9%80%9A%E8%BF%87%E7%8E%AF%E5%A2%83%E5%8F%98%E9%87%8F%60AWS_ACCESS_KEY_ID%60%E5%92%8C%60AWS_SECRET_ACCESS_KEY%60%E6%8F%90%E4%BE%9B%E5%87%AD%E8%AF%81%E3%80%82

备份所有数据库

如果未指定MYSQL_DATABASE，将备份主机上的所有数据库。文件名将格式化为$S3_PREFIX$S3_FILENAME.$DB_NAME.sql.gz。

示例

手动运行

sh
# 使用环境变量文件
docker run --rm --env-file ./backup.env jdrydn/mysqldump-to-s3:latest

# 直接指定环境变量
docker run --rm \
  -e MYSQL_HOST=project.3927e3a82872.us-east-1.rds.amazonaws.com \
  -e MYSQL_USER=root -e MYSQL_PASSWORD=password -e MYSQL_DATABASE=PROJECT \
  -e S3_BUCKET=project-backups \
  jdrydn/mysqldump-to-s3:latest

ECS定时任务配置

1. 前往ECS控制台，https://docs.aws.amazon.com/AmazonECS/latest/developerguide/create-task-definition.html%EF%BC%9A

   • 选择具有S3::putObject权限的任务角色（Task Role），以允许写入目标S3桶
   • 添加容器，设置镜像字段为最新标签或指定版本：jdrydn/mysqldump-to-s3:latest（可在https://hub.docker.com/r/jdrydn/mysqldump-to-s3/tags%E6%9F%A5%E7%9C%8B%E6%89%80%E6%9C%89%E7%89%88%E6%9C%AC%EF%BC%89
   • 在环境变量中输入上述配置参数，可使用https://docs.aws.amazon.com/AmazonECS/latest/developerguide/specifying-sensitive-data.html%E5%AD%98%E5%82%A8%E6%95%8F%E6%84%9F%E4%BF%A1%E6%81%AF%EF%BC%88%E5%A6%82%60MYSQL_*%60%E5%87%AD%E8%AF%81%EF%BC%89

2. 在集群的https://docs.aws.amazon.com/AmazonECS/latest/developerguide/scheduling_tasks.html%E4%B8%AD%E5%88%9B%E5%BB%BA%E6%96%B0%E4%BB%BB%E5%8A%A1%EF%BC%9A

   • 输入https://docs.aws.amazon.com/AmazonCloudWatch/latest/events/ScheduledEvents.html#CronExpressions%E5%AE%9A%E4%B9%89%E6%89%A7%E8%A1%8C%E9%A2%91%E7%8E%87
   • 选择之前创建的任务定义，完成创建

手动启动定时任务

sh
aws ecs run-task \
  --cluster default \
  --task-definition database-backup \
  --network-configuration 'awsvpcConfiguration={subnets=[A,B,C],securityGroups=[D],assignPublicIp=ENABLED}' \
  --launch-type FARGATE

• 此命令用于调试定时任务问题
• 需将A,B,C（子网ID）和D（安全组ID）替换为实际值

从备份恢复数据库

1. 使用aws s3 cp下载备份文件到本地
2. 使用gunzip解压缩文件
3. 导入到MySQL数据库

sh
# 对于大型备份，建议分步执行
aws s3 cp s3://project-backups/20190810T050709Z.PROJECT.sql.gz - | gunzip | mysql PROJECT
# ☕️ 此时可以休息一下，等待恢复完成

开发

sh
# 构建开发镜像
docker build -t jdrydn/mysqldump-to-s3:dev .

# 创建环境变量文件
cat << EOF >> backup.env
MYSQL_HOST=localhost
MYSQL_USER=user
MYSQL_PASSWORD=password
S3_BUCKET=test-backups
EOF

# 运行开发镜像
docker run --rm -it --network=host \
  -v ~/.aws/credentials:/root/.aws/credentials:ro \
  --env-file ./local.env \
  jdrydn/mysqldump-to-s3:dev

鸣谢

本项目大致基于https://hub.docker.com/r/schickling/mysql-backup-s3%E4%BF%AE%E6%94%B9%EF%BC%8C%E4%B8%BB%E8%A6%81%E8%B0%83%E6%95%B4%E4%B8%BA%E4%BD%BF%E7%94%A8%E7%AE%A1%E9%81%93%E4%BC%A0%E8%BE%93%E4%BB%A5%E9%81%BF%E5%85%8DFargate%E7%9A%84%E5%AD%98%E5%82%A8%E9%99%90%E5%88%B6%E3%80%82