automqinc/automq

AutoMQ 镜像文档

镜像概述

AutoMQ 是一款基于 S3（Simple Storage Service）的无磁盘 Kafka 实现，通过云原生存储架构重构流数据处理系统。它继承了 Kafka 的核心流处理能力，同时将数据存储层迁移至 S3，消除本地磁盘依赖，显著降低基础设施成本并提升扩展性。

核心功能与特性

• 10 倍成本效益：利用 S3 低成本对象存储替代本地磁盘，整体拥有成本（TCO）较传统 Kafka 降低 10 倍。
• 无跨可用区流量费用：数据统一存储于 S3，跨可用区（AZ）数据访问无需支付区域间网络流量费用，优化多区域部署成本。
• 秒级自动扩缩容：支持根据实时负载动态调整计算资源，实现秒级扩容与缩容，灵活应对流量波动。
• 毫秒级延迟：数据处理延迟控制在个位数毫秒级别，满足实时流数据处理的低延迟需求。
• 多可用区高可用：原生支持多可用区部署，通过分布式架构保障服务在单区域故障时仍能稳定运行。
• 完全开源：源代码托管于 GitHub，支持社区贡献与二次开发。

使用场景与适用范围

AutoMQ 适用于各类大规模流数据处理场景，尤其适合：

• 实时日志收集、指标监控、事件流处理等高频数据写入场景；
• 对存储与网络成本敏感的云原生应用，需优化基础设施支出；
• 流量波动大、需弹性扩缩容的业务（如电商大促、直播互动）；
• 对服务可用性要求高，需多区域容灾的关键业务系统。

使用方法与配置说明

基础部署（Docker）

AutoMQ 镜像可通过 Docker 快速部署，以下为示例命令（具体参数需根据实际环境调整）：

bash
docker run -d \
  --name automq \
  -e S3_ACCESS_KEY="your-s3-access-key" \
  -e S3_SECRET_KEY="your-s3-secret-key" \
  -e S3_BUCKET="your-bucket-name" \
  -e S3_REGION="your-s3-region" \
  -e KAFKA_BROKER_ID=0 \
  -p 9092:9092 \
  automq/automq:latest

核心配置参数

• S3 存储配置：需指定 S3 访问密钥（S3_ACCESS_KEY）、密钥（S3_SECRET_KEY）、存储桶名称（S3_BUCKET）及区域（S3_REGION），用于对接 S3 存储服务。
• Kafka 基础配置：包括 broker ID（KAFKA_BROKER_ID）、监听端口（KAFKA_LISTENERS）、广告地址（KAFKA_ADVERTISED_LISTENERS）等，与传统 Kafka 配置兼容。
• 扩缩容配置：通过环境变量（如 AUTO_SCALE_MIN_REPLICAS、AUTO_SCALE_MAX_REPLICAS）设置计算资源弹性范围。

开源与文档

AutoMQ 完全开源，详细部署文档、配置指南及源码可访问 GitHub 仓库：
https://github.com/AutoMQ/automq