p4km9y/flink

Flink 1.1.2 Docker镜像文档

镜像概述

Flink 1.1.2 Docker镜像是基于Apache Flink 1.1.2版本构建的容器化解决方案，主要用于分布式流处理和批处理任务。该镜像支持与Hadoop集群集成，并提供与Elasticsearch的交互能力，可用于大数据实时分析、数据处理及存储等场景。

核心功能与特性

• 基于Flink 1.1.2版本，支持分布式流处理和批处理
• 可与Hadoop集群集成，通过数据卷和链接实现资源共享
• 支持Elasticsearch数据操作，包括索引创建、记录管理等
• 支持Docker Compose组合部署，适应复杂网络环境

使用场景

• 大数据实时流处理与分析
• 与Hadoop生态系统协同的数据处理任务
• Elasticsearch数据索引构建与管理
• 分布式计算环境的容器化部署

使用方法

1. 与Hadoop分离运行

通过引用Hadoop容器的数据卷和链接，独立运行Flink容器：

bash
docker run --name flnk --volumes-from hdp --link hdp flink

• --volumes-from hdp：从名为hdp的Hadoop容器挂载数据卷
• --link hdp：链接到hdp容器以实现网络通信

2. 组合部署

由于Java bug（[***]

创建Overlay网络

bash
docker network create --driver overlay iot.net

使用Docker Compose启动

bash
docker-compose -p iot up

• -p iot：指定项目名称为iot

3. Elasticsearch相关操作

进入Elasticsearch容器：

bash
docker-compose -p iot exec elastic /bin/bash

3.1 创建索引

执行以下命令创建名为iot-kura的索引：

bash
curl -XPUT 'http://localhost:9200/iot-kura/' -d '{
    "settings": {
        "index": {
            "number_of_shards": 5,
            "number_of_replicas": 1
        }
    },
    "_all": {
        "enabled": false
    },
    "mappings": {
        "kura-entry": {
            "properties": {
                "device_id": {
                    "type": "string"
                },
                "unit": {
                    "type": "string"
                },
                "value": {
                    "type": "double"
                },
                "count": {
                    "type": "long"
                },
                "timestamp": {
                    "type": "date",
                    "format": "epoch_millis"
                },
                "location": {
                    "type": "geo_point"
                }
            }
        }
    }
}'

• 索引设置：5个分片，1个副本
• 映射定义：包含device_id（设备标识）、unit（单位）、value（数值）、count（计数）、timestamp（毫秒级时间戳）、location（地理坐标）等字段

3.2 检查索引是否存在

bash
curl 'localhost:9200/_cat/indices?v'

该命令将列出所有索引，可查看iot-kura是否存在。

3.3 添加记录

向iot-kura索引的kura-entry类型添加记录：

bash
curl -XPOST 'http://localhost:9200/iot-kura/kura-entry?pretty' -d '{
    "timestamp": "1466079132988",
    "location": {
        "lat": 48.1458923,
        "lon": 17.1071373
    },
    "unit": "C",
    "count": "120",
    "value": "2.3313523654E10",
    "device_id": "kura.device.name"
}'

• timestamp：毫秒级时间戳
• location：地理坐标（纬度、经度）
• unit：单位（如摄氏度）
• count：计数
• value：数值
• device_id：设备标识