Apache Flink Stateful Functions 镜像文档

镜像概述和主要用途

Apache Flink Stateful Functions是一个API，旨在简化分布式有状态应用的构建，其运行时专为无服务器架构设计。它融合了有状态流处理的优势——以低延迟和有限资源约束处理大型数据集，同时提供一个用于建模有状态实体的运行时，支持位置透明性、并发性、可扩展性和弹性。

了解更多关于Stateful Functions的信息，请访问官方网站。

核心功能和特性

• 简化分布式有状态应用的开发流程
• 运行时针对无服务器架构优化
• 支持低延迟处理大规模数据集
• 可在资源约束环境下高效运行
• 提供位置透明性，简化分布式部署
• 支持高并发处理能力
• 具备弹性扩展能力，适应负载变化
• 确保系统弹性和容错性

使用场景和适用范围

适用于需要构建分布式有状态应用的场景，特别适合无服务器架构环境。适用于要求低延迟数据处理、资源高效利用，同时需要高并发、可扩展和弹性的应用开发，如实时数据处理、事件驱动应用、流处理服务等。

使用方法和配置说明

Stateful Functions应用的推荐部署方式是基于此基础镜像构建Docker镜像，这样用户代码无需打包任何Apache Flink或Stateful Functions组件。

打包应用镜像

该基础镜像允许快速打包包含所有必要运行时依赖的应用。

以下是构建Stateful Functions应用镜像的Dockerfile示例，包含嵌入式模块和远程模块，应用名为my-statefun-app：

FROM flink-statefun
RUN mkdir -p /opt/statefun/modules/my-statefun-app
RUN mkdir -p /opt/statefun/modules/remote
COPY my-statefun-app*jar /opt/statefun/modules/my-statefun-app/
COPY module.yaml /opt/statefun/modules/remote/module.yaml

部署应用

镜像构建完成后，即可部署应用。以下说明假设构建的应用镜像名为my-statefun-app。

运行Master或Worker节点

可通过以下命令运行应用的master节点：

$ docker run -e "ROLE=master" -e "MASTER_HOST=localhost" -d -t my-statefun-app

随后，可运行worker节点：

$ docker run -e "ROLE=worker" -e "MASTER_HOST=localhost" -d -t my-statefun-app

使用Docker Compose运行集群

通过Docker Compose可部署完整的Stateful Functions应用集群：

version: "2.1"
services:
  master:
    image: my-statefun-app
    expose:
      - "6123"
    ports:
      - "8081:8081"
    environment:
      - ROLE=master
      - MASTER_HOST=master
  worker:
    image: my-statefun-app
    expose:
      - "6121"
      - "6122"
    depends_on:
      - master
    links:
      - "master:master"
    environment:
      - ROLE=worker
      - MASTER_HOST=master

启动集群：

$ docker-compose up

扩展集群至N个worker节点：

$ docker-compose scale worker=<N>

完整示例

可在此处找到基于Docker Compose的Stateful Functions应用完整示例。

配置说明

命令行参数

运行master节点时常用的命令行参数：

• -s, --fromSavepoint: 恢复应用的保存点路径
• -p, --parallelism: 应用运行的并行度

环境变量

• ROLE: 运行角色，可选master（主节点）或worker（工作节点），默认值：worker
• MASTER_HOST: 应用主节点的主机名，默认值：localhost

配置Flink进程

由于Stateful Functions应用由Apache Flink集群执行，可通过在应用镜像中捆绑Flink配置文件flink-conf.yaml来配置Flink进程（JobManagers和TaskManagers），文件路径为$FLINK_HOME/conf/flink-conf.yaml。

查看完整的Apache Flink配置项了解所有可用设置。

默认端口

基础镜像使用的默认端口：

• Flink Web客户端：8081
• Flink JobManager RPC端口：6123（运行应用主节点时）
• TaskManager RPC端口：6122（运行应用工作节点时）
• TaskManager数据端口：6121（运行应用工作节点时）

关于本仓库

本仓库位于github.com/apache/flink-statefun-docker，由Apache Flink社区成员维护。