saidsef/aws-kinesis-local

Docker Kinesis Local 镜像文档

镜像概述

Docker Kinesis Local是一个用于本地开发和测试的AWS Kinesis模拟服务镜像。基于NodeJS和Kinesislite构建，可在本地环境模拟Amazon Kinesis Streams核心功能，帮助开发人员脱离AWS云服务依赖，快速开发和测试Kinesis数据流处理应用。

Amazon Kinesis Streams是AWS提供的实时数据流服务，能连续捕获和存储大量流式数据（如网站点击流、***交易等），并支持通过KCL构建应用实现实时分析、仪表板展示等功能，同时可将数据导出至S3、Redshift等AWS服务。本镜像通过Kinesislite实现本地模拟，简化开发流程。

核心功能和特性

主要组件

• NodeJS：服务运行环境
• Kinesislite：轻量级Kinesis模拟实现（https://github.com/mhart/kinesalite%EF%BC%89%EF%BC%8C%E6%94%AF%E6%8C%81%E6%A0%B8%E5%BF%83Kinesis API

关键特性

• 模拟Kinesis Streams的创建、删除、更新等生命周期管理
• 可配置数据流创建/删除/更新状态过渡时间
• 支持内存存储或LevelDB持久化存储
• 可选SSL加密和自定义端口
• 轻量级设计，适合本地开发环境快速部署

使用场景和适用范围

• 本地应用开发：开发依赖Kinesis Streams的应用时，无需连接AWS云服务，降低网络依赖和成本
• 测试环境搭建：为依赖Kinesis的组件编写单元测试和集成测试，确保功能正确性
• CI/CD流程集成：作为持续集成/部署管道中的测试依赖服务
• 原型验证：快速搭建Kinesis服务原型，验证数据流处理逻辑

详细使用方法和配置说明

命令行参数说明

启动容器时可传递Kinesislite配置参数，常用参数如下：

获取帮助信息

查看完整参数说明：

bash
docker run --rm -ti saidsef/aws-kinesis --help

输出示例：

Usage: kinesalite [--port <port>] [--path <path>] [--ssl] [options]

A Kinesis http server, optionally backed by LevelDB

Options:
--help                 Display this help message and exit
--port <port>          The port to listen on (default: 4567)
--path <path>          The path to use for the LevelDB store (in-memory by default)
--ssl                  Enable SSL for the web server (default: false)
--createStreamMs <ms>  Amount of time streams stay in CREATING state (default: 500)
--deleteStreamMs <ms>  Amount of time streams stay in DELETING state (default: 500)
--updateStreamMs <ms>  Amount of time streams stay in UPDATING state (default: 500)
--shardLimit <limit>   Shard limit for error reporting (default: 10)

本地部署示例

基本启动命令

启动默认配置服务（端口4567，内存存储）：

bash
docker run --rm -d -p 4567:4567 --name local-kinesis saidsef/aws-kinesis

验证服务可用性

使用AWS CLI连接本地服务（需安装AWS CLI）：

bash
aws --endpoint-url=http://localhost:4567 kinesis list-streams --region eu-west-1

预期输出（初始无数据流）：

json
{
    "StreamNames": []
}

自定义配置示例

指定持久化存储路径和端口：

bash
docker run --rm -d -p 8080:8080 -v $(pwd)/kinesis-data:/data --name local-kinesis saidsef/aws-kinesis --port 8080 --path /data

Kubernetes部署

通过Kubernetes部署：

bash
kubectl apply -k deployment/

部署后通过服务IP访问，验证：

bash
aws --endpoint-url=http://svc-ip kinesis list-streams --region eu-west-1

预期输出：

json
{
    "StreamNames": []
}

相关文档

• https://github.com/mhart/kinesalite