ukwa/docker-hadoop

ukwa-hadoop-docker 镜像文档

镜像概述

ukwa-hadoop-docker是一个在Docker容器中运行的Hadoop客户端镜像，旨在提供便捷的容器化环境，用于执行Hadoop相关任务。该镜像内置Hadoop客户端组件，并启用HttpFS服务，支持通过HTTP协议与Hadoop集群进行交互，简化容器与Hadoop集群的集成流程。

核心功能与特性

• 容器化Hadoop客户端：将Hadoop客户端环境封装在Docker容器中，无需在主机系统单独配置Hadoop环境
• HttpFS支持：内置并启用HttpFS服务，允许通过HTTP/HTTPS协议访问Hadoop分布式文件系统（HDFS）
• 任务执行能力：支持在容器内直接运行Hadoop作业（如MapReduce任务），简化任务调度与执行流程
• 环境隔离：通过容器化方式提供独立的Hadoop客户端环境，避免与主机系统环境冲突

使用场景与适用范围

• 开发与测试环境：为Hadoop应用开发人员提供一致的客户端环境，简化本地开发与测试流程
• CI/CD集成：可集成到持续集成/持续部署流水线中，用于自动化执行Hadoop数据处理任务
• 临时任务执行：需要快速部署Hadoop客户端执行一次性或短期数据处理任务的场景
• 多环境隔离：在同一主机上运行多个不同版本或配置的Hadoop客户端实例

使用方法与配置说明

基本运行方式

通过以下命令启动ukwa-hadoop-docker容器：

bash
docker run -d --name hadoop-client ukwa/ukwa-hadoop-docker

与Hadoop集群连接

若需连接外部Hadoop集群，需通过环境变量或配置文件指定集群信息。例如，通过环境变量设置NameNode地址：

bash
docker run -d --name hadoop-client \
  -e HADOOP_NAMENODE_HOST=namenode.example.com \
  -e HADOOP_NAMENODE_PORT=8020 \
  ukwa/ukwa-hadoop-docker

使用HttpFS访问HDFS

容器启动后，可通过HttpFS服务访问HDFS，默认HttpFS端口为***。例如，使用curl命令列出HDFS根目录：

bash
docker exec -it hadoop-client curl "http://localhost:14000/webhdfs/v1/?op=LISTSTATUS"

运行Hadoop作业

在容器内可直接使用Hadoop命令行工具执行作业，例如运行MapReduce示例任务：

bash
docker exec -it hadoop-client hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar pi 10 100

持久化配置

如需持久化Hadoop配置文件，可通过挂载主机目录到容器内的Hadoop配置目录：

bash
docker run -d --name hadoop-client \
  -v /path/to/local/hadoop/config:/etc/hadoop \
  ukwa/ukwa-hadoop-docker

注意事项

• 确保容器网络可访问目标Hadoop集群的相关端口（如NameNode端口、HttpFS端口等）
• 根据实际Hadoop集群版本选择匹配的ukwa-hadoop-docker镜像标签
• 生产环境中建议通过环境变量或挂载配置文件方式注入敏感信息（如认证凭证）