nbisweden/sda-backup

Elasticsearch备份服务

镜像概述与主要用途

该镜像提供一个用于备份和恢复Elasticsearch索引、Postgres数据库及MongoDB数据库的服务。支持将加密备份数据存储到S3兼容存储，并提供从S3恢复数据的功能。适用于需要定期备份关键数据、确保数据安全及快速恢复的场景。

核心功能与特性

• 多数据库支持：兼容Elasticsearch索引、Postgres数据库和MongoDB数据库的备份与恢复
• 加密备份：采用aes-256-gcm加密格式，密钥需为Base64编码字符串
• S3集成：支持将备份数据存储到S3兼容存储服务
• 配置灵活性：通过配置文件或环境变量进行配置，环境变量优先级高于配置文件
• 日志级别控制：可设置日志级别（如debug）以满足不同调试需求
• 批量操作：Elasticsearch备份支持批量获取文档，可配置批处理大小

使用场景与适用范围

• 需要定期备份Elasticsearch索引的场景
• Postgres或MongoDB数据库的全量备份需求
• 需要加密存储敏感数据备份的场景
• 从S3存储恢复丢失或损坏数据的场景
• 测试环境中快速创建和恢复索引/数据库的场景

使用方法与配置说明

配置文件设置

配置文件路径通过环境变量CONFIGFILE指定，需提供完整路径。配置文件中的所有选项均可通过环境变量设置，变量名使用下划线_分隔层级（如S3_ACCESSKEY对应配置文件中的s3.accesskey），环境变量将覆盖配置文件中的值。

加密密钥创建

加密密钥需为aes-256-gcm格式，并以Base64编码字符串形式存储在文件中。

Elasticsearch操作

备份加密索引到S3

cmd
./backup-svc --action es_backup --name [可使用通配符，如`*INDEX-NAME*`]

• 备份文件在S3中存储格式：FULL-ES-INDEX-NAME.bup

验证备份是否成功：

cmd
s3cmd -c PATH_TO_S3CONF_FILE ls s3://BUCKET-NAME/*INDEX-NAME

从S3恢复索引到Elasticsearch

cmd
./backup-svc --action es_restore --name S3-OBJECT-NAME

创建测试索引（仅测试用）

cmd
./backup-svc --action es_create --name INDEX-NAME

Postgres备份与恢复

备份数据库

cmd
./backup-svc --action pg_dump

• 备份文件在S3中存储格式：YYYYMMDDhhmmss-DBNAME.sqldump

恢复数据库

• 恢复前目标数据库必须已存在

cmd
./backup-svc --action pg_restore --name PG-DUMP-FILE

MongoDB备份与恢复

备份数据库

cmd
./backup-svc --action mongo_dump --name <DBNAME>

• 备份文件在S3中存储格式：YYYYMMDDhhmmss-DBNAME.archive

恢复数据库

cmd
./backup-svc --action mongo_restore --name MONGO-ARCHIVE-FILE

配置文件示例

yaml
encryptionKey: "aes256.key"
loglevel: debug
s3:
  url: "FQDN URI" # [***]
  # port: 9000 # 仅当端口与标准HTTP/HTTPS端口不同时需要
  accesskey: "accesskey"
  secretkey: "secret-accesskey"
  bucket: "bucket-name"
  # cacert: "path/to/ca-root"
elastic:
  host: "FQDN URI" # [***]
  # port: 9200 # 仅当端口与标准HTTP/HTTPS端口不同时需要
  user: "elastic-user"
  password: "elastic-password"
  # cacert: "path/to/ca-root"
  batchSize: 50 # 每次从Elasticsearch获取的文档数量，默认50（建议至少2000）
  filePrefix: "" # 可为空字符串，当索引有更新且需备份新副本时有用
db:
  host: "主机名或IP" # pg.example.com, 127.0.0.1
  # port: 5432 # 仅当PostgreSQL数据库监听非默认端口时需要
  user: "db-user"
  password: "db-password"
  database: "database-name"
  # cacert: "path/to/ca-root"
  # clientcert: "path/to/clientcert" # 仅当sslmode=verify-peer时需要
  # clientkey: "path/to/clientkey" # 仅当sslmode=verify-peer时需要
  # sslmode: "verify-peer" # 
mongo:
  host: "带端口的主机名或IP" # example.com:portnumber, 127.0.0.1:27017
  user: "backup"
  password: "backup"
  authSource: "admin"
  replicaset: ""
  # tls: true
  # cacert: "path/to/ca-root" # 可选
  # clientcert: "path/to/clientcert" # 当tls=true时需要