热门搜索:
itadventurer/kafka-backup
itadventurer
该镜像提供Apache Kafka的数据备份与恢复功能，支持主题数据及消费者组偏移量的备份与恢复，可通过本地文件系统操作，适用于保障Kafka数据安全与迁移场景。
2 次收藏下载次数: 0状态：社区镜像维护者：itadventurer仓库类型：镜像最近更新：5 年前
让 AI 帮你使用轩辕镜像？ · 展开查看说明
如果你使用 DeepSeek、元宝 AI、Copilot、ChatGPT 等 AI 工具，协助配置轩辕镜像、编写 docker pull 命令、修改 Docker Compose 镜像地址、配置镜像加速、排查镜像拉取失败、分析报错日志等问题，请先让 AI 阅读并遵守轩辕镜像的规则文档。
只需在 AI 对话中先发送下面这句话即可：
请先完整阅读并严格遵守以下文档中的全部规则与要求：
https://xuanyuan.cloud/agents.md
在未充分阅读并理解该文档前，不要生成任何命令、配置、修改建议、故障排查方案或技术回答。后续所有输出都必须严格以该文档中的规范为最高优先级执行。查看 agents.md 用法指南与完整示范。国内用户首推 元宝 AI、DeepSeek 的深度思考模式，不推荐豆包 AI；Cursor 等编辑器可在对话 @ 该链接，或加入 User Rules。 若 AI 无法访问外链，可 打开说明文档 复制全文粘贴。文档会随站点更新，复制内容可能过期，建议定期检查。
Kafka Backup镜像概述
Kafka Backup是一款用于Apache Kafka的数据备份与恢复工具，支持主题数据及消费者组偏移量的备份与恢复，是目前少有的能实现Kafka冷备份并正确恢复的解决方案。该工具以Kafka Connect连接器形式存在（包含Sink连接器用于备份、Source连接器用于恢复），当前支持本地文件系统作为备份存储介质。
核心功能
- 备份与恢复Kafka主题数据
- 备份与恢复消费者组偏移量
- 支持本地文件系统作为备份介质
- 提供Jar包与Docker镜像两种分发形式
使用场景
- Kafka集群数据定期备份，防止数据丢失
- Kafka集群迁移时的数据迁移
- 测试环境与生产环境间的数据同步
配置说明
备份命令参数
| 参数（CLI/环境变量） | 类型/必填 | 描述 |
|---|---|---|
--bootstrap-server/BOOTSTRAP_SERVER | 必填 | 连接的Kafka服务器地址 |
--target-dir/TARGET_DIR | 必填 | 备份文件存储目录 |
--topics/TOPICS | 可选 | 需备份的主题列表（与--topics-regex二选一） |
--topics-regex/TOPICS_REGEX | 可选 | 需备份的主题正则表达式（与--topics二选一） |
--max-segment-size/MAX_SEGMENT_SIZE | 可选 | 备份段大小（默认1GiB） |
--command-config/COMMAND_CONFIG | 可选 | 传递给Admin Client的配置文件（用于额外连接选项） |
--debug/DEBUG=y | 可选 | 打印调试信息 |
恢复命令参数
| 参数（CLI/环境变量） | 类型/必填 | 描述 |
|---|---|---|
--bootstrap-server/BOOTSTRAP_SERVER | 必填 | 连接的Kafka服务器地址 |
--source-dir/SOURCE_DIR | 必填 | 备份文件所在目录 |
--topics/TOPICS | 必填 | 需恢复的主题列表 |
--batch-size/BATCH_SIZE | 可选 | 批量大小（默认1MiB） |
--offset-file/OFFSET_FILE | 可选 | 偏移量存储文件（默认：[source-dir]/restore.offsets，丢失需重新备份） |
--command-config/COMMAND_CONFIG | 可选 | 传递给Admin Client的配置文件（用于额外连接选项） |
--debug/DEBUG | 可选 | 打印调试信息（环境变量需设为'y'） |
Docker部署示例
备份示例
shdocker run -d -v /本地备份目录:/kafka-backup/ --rm \ itadventurer/kafka-backup:[最新版本标签] \ backup-standalone.sh --bootstrap-server kafka:9092 \ --target-dir /kafka-backup/ --topics 'topic1,topic2'
恢复示例
shdocker run -v /本地备份目录:/kafka-backup/ --rm \ itadventurer/kafka-backup:[最新版本标签] \ restore-standalone.sh --bootstrap-server kafka:9092 \ --source-dir /kafka-backup/ --topics 'topic1,topic2'
注意事项
- 生产环境请勿使用
latest标签，建议使用指定版本标签 - 备份进程为持续运行的后台任务，若需点快照请参考项目Issue 52
- 恢复时的偏移量文件至关重要，丢失需重新执行备份
许可证
本项目采用Apache License Version 2.0授权（详见LICENSE文件）。
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
轩辕镜像加速拉取命令点我查看更多 kafka-backup 镜像标签
docker pull docker.xuanyuan.run/itadventurer/kafka-backup:<标签>
DockerHub 原生拉取命令
docker pull itadventurer/kafka-backup:<标签>
更多 kafka-backup 镜像推荐
bitnamicharts/kafka
bitnamicharts
Bitnami为Apache Kafka提供的Helm Chart是一款预配置的Kubernetes包管理工具，旨在简化分布式流处理平台Apache Kafka在Kubernetes集群中的部署、配置与全生命周期运维管理，集成了高可用性集群设置、安全认证机制、Prometheus监控指标及自动伸缩策略等核心功能，帮助用户无需手动处理复杂的集群参数配置，即可快速搭建稳定、可扩展且符合生产级标准的Kafka服务，适用于从开发测试到大规模生产环境的各类场景。
6 次收藏1000万+ 次下载
9 个月前更新
ubuntu/kafka
Ubuntu 官方镜像
Apache Kafka 是一个分布式事件流平台，它支持高吞吐量、低延迟的实时数据流处理与传输，可广泛应用于消息传递、日志聚合、实时分析、数据集成等场景，其长期维护轨道由 Canonical 负责，以确保平台在稳定性、安全性及功能迭代方面获得持续支持，为企业级用户提供可靠的事件流处理解决方案。
60 次收藏100万+ 次下载
3 个月前更新
newrelic/k8s-nri-kafka
newrelic
New Relic Infrastructure Kafka Integration镜像已弃用（2024年1月将移除），基于newrelic/infrastructure镜像，作为nri-kafka主机集成的指标转发器，仅提交被监控Kafka系统的指标，建议使用New Relic Infrastructure Bundle替代。
10万+ 次下载
6 年前更新
apache/kafka
Apache 软件基金会镜像
Apache Kafka是一个开源的分布式流处理平台，旨在提供高吞吐量、低延迟的实时数据流传递服务，支持发布/订阅消息模式，能够持久化存储海量数据流并确保数据可靠性，具备水平扩展能力和容错机制，广泛应用于日志收集、事件驱动架构、实时数据集成及流处理系统等场景，为企业级应用提供高效、稳定的数据流传输与处理解决方案。
211 次收藏1000万+ 次下载
16 天前更新
itzg/mc-backup
itzg
提供边车容器，用于备份itzg/minecraft-server的数据
48 次收藏1000万+ 次下载
11 天前更新
镜像拉取常见问题
功能
错误码
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"