bde2020/hdfs-filebrowser

bde2020/hdfs-filebrowser

镜像概述和主要用途

该Docker镜像运行Cloudera Hue提供的HDFS FileBrowser，用于在Docker环境中连接HDFS集群并通过Web界面浏览和管理HDFS文件系统。

支持版本

• 3.9
• 3.11

依赖镜像

• earthquakesan/ant
• earthquakesan/hue-build-env

核心功能和特性

• 提供Web界面访问HDFS集群
• 支持文件浏览、上传、下载等基本HDFS操作
• 与Docker化HDFS集群集成
• 通过环境变量配置连接参数

使用场景和适用范围

适用于Docker环境中部署的HDFS集群，方便开发人员和管理员通过Web界面直观管理HDFS文件系统，无需直接使用HDFS命令行工具。

详细使用方法和配置说明

前置条件

使用该镜像前，需对HDFS集群进行以下配置：

1. 启用WebHDFS
   在hdfs-site.xml中配置WebHDFS，具体参考HDFS配置选项。

2. 创建代理用户
   在core-site.xml中为FileBrowser创建名为"hue"的代理用户，具体参考超级用户配置。

使用bde2020/hadoop镜像的配置

若使用https://github.com/big-data-europe/docker-hadoop%EF%BC%8C%E5%8F%AF%E5%9C%A8hadoop.env%E6%96%87%E4%BB%B6%E4%B8%AD%E8%AE%BE%E7%BD%AE%E4%BB%A5%E4%B8%8B%E7%8E%AF%E5%A2%83%E5%8F%98%E9%87%8F%E5%AE%8C%E6%88%90%E4%B8%8A%E8%BF%B0%E9%85%8D%E7%BD%AE%EF%BC%9A

CORE_CONF_hadoop_proxyuser_hue_hosts=*
CORE_CONF_hadoop_proxyuser_hue_groups=*
HDFS_CONF_dfs_webhdfs_enabled=true

Docker网络配置

HDFS容器与FileBrowser容器需在同一Docker网络中。创建名为"hadoop"的网络：

bash
docker network create hadoop

启动FileBrowser容器

通过设置NAMENODE_HOST环境变量指定HDFS namenode地址，运行容器：

bash
docker run -e NAMENODE_HOST=namenode -p 8080:8088 bde2020/hdfs-filebrowser

Docker Compose配置示例

以下是包含FileBrowser和HDFS集群的docker-compose.yml示例：

yaml
filebrowser:
  image: bde2020/hue
  hostname: filebrowser
  container_name: filebrowser
  domainname: hadoop
  net: hadoop
  environment:
    - NAMENODE_HOST=namenode
  ports:
    - "8088:8088"

namenode:
  image: bde2020/hadoop-namenode
  hostname: namenode
  container_name: namenode
  domainname: hadoop
  net: hadoop
  volumes:
    - ./data/namenode:/hadoop/dfs/name
  environment:
    - CLUSTER_NAME=test
  env_file:
    - ./hadoop.env

datanode1:
  image: bde2020/hadoop-datanode
  hostname: datanode1
  container_name: datanode1
  domainname: hadoop
  net: hadoop
  volumes:
    - ./data/datanode1:/hadoop/dfs/data
  env_file:
    - ./hadoop.env

datanode2:
  image: bde2020/hadoop-datanode
  hostname: datanode2
  container_name: datanode2
  domainname: hadoop
  net: hadoop
  volumes:
    - ./data/datanode2:/hadoop/dfs/data
  env_file:
    - ./hadoop.env

hadoop.env配置示例

#GANGLIA_HOST=ganglia.hadoop

CORE_CONF_fs_defaultFS=hdfs://namenode:8020
CORE_CONF_hadoop_http_staticuser_user=root
CORE_CONF_hadoop_proxyuser_hue_hosts=*
CORE_CONF_hadoop_proxyuser_hue_groups=*

HDFS_CONF_dfs_webhdfs_enabled=true
HDFS_CONF_dfs_permissions_enabled=false

YARN_CONF_yarn_log___aggregation___enable=true
YARN_CONF_yarn_resourcemanager_recovery_enabled=true
YARN_CONF_yarn_resourcemanager_store_class=org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore
YARN_CONF_yarn_resourcemanager_fs_state___store_uri=/rmstate
YARN_CONF_yarn_nodemanager_remote___app___log___dir=/app-logs

YARN_CONF_yarn_log_server_url=[***]
YARN_CONF_yarn_timeline___service_enabled=true
YARN_CONF_yarn_timeline___service_generic___application___history_enabled=true
YARN_CONF_yarn_resourcemanager_system___metrics___publisher_enabled=true

YARN_CONF_yarn_resourcemanager_hostname=resourcemanager
YARN_CONF_yarn_timeline___service_hostname=historyserver.hadoop