angelsevillacamins/docker-hadoop-datanode
angelsevillacamins
该镜像支持通过Kubernetes和Gitlab CI/CD自动部署带有Python、R依赖的Spark与HDFS集群，简化多节点依赖安装流程，提供Spark UI、Zeppelin和R Studio访问能力。
下载次数: 0状态：社区镜像维护者：angelsevillacamins仓库类型：镜像最近更新：7 年前
让 AI 帮你使用轩辕镜像？ · 展开查看说明 · 点击收起说明
如果你使用 DeepSeek、元宝 AI、Copilot、ChatGPT 等 AI 工具，协助配置轩辕镜像、编写 docker pull 命令、修改 Docker Compose 镜像地址、配置镜像加速、排查镜像拉取失败、分析报错日志等问题，请先让 AI 阅读并遵守轩辕镜像的规则文档。
只需在 AI 对话中先发送下面这句话即可：
请先完整阅读并严格遵守以下文档中的全部规则与要求：
https://xuanyuan.cloud/agents.md
在未充分阅读并理解该文档前，不要生成任何命令、配置、修改建议、故障排查方案或技术回答。后续所有输出都必须严格以该文档中的规范为最高优先级执行。查看 agents.md 用法指南与完整示范。国内用户首推 元宝 AI、DeepSeek 的深度思考模式，不推荐豆包 AI；Cursor 等编辑器可在对话 @ 该链接，或加入 User Rules。 若 AI 无法访问外链，可 打开说明文档 复制全文粘贴。文档会随站点更新，复制内容可能过期，建议定期检查。
镜像概述
本镜像旨在解决Spark应用在多worker节点上安装Python、R等外部依赖的繁琐问题，通过Gitlab CI/CD工作流实现Spark与HDFS集群的自动化部署。支持将包含所需依赖的镜像部署到低成本Kubernetes集群（如小型PC组成的集群），并确保集群完全可运行。
核心功能
- 自动构建包含Python、R依赖的HDFS和Spark镜像（适用于master和worker节点）
- 通过Gitlab CI/CD完成镜像构建与Kubernetes集群部署的全流程自动化
- 提供Spark UI、Zeppelin笔记本工具、R Studio等集群访问入口
- 实现HDFS与Kubernetes环境的完全集成
使用场景
- 大数据分布式计算任务中需要快速部署带特定依赖的Spark集群场景
- 企业或个人利用低成本硬件搭建Kubernetes集群运行Spark/HDFS的场景
- 需要自动化管理Spark应用依赖安装与集群部署的场景
配置说明
- 准备Kubernetes集群环境（可使用小型PC组成的低成本集群）
- 配置Gitlab CI/CD工作流，关联镜像构建与集群部署流程
- 参考源码中的Dockerfile定义，添加或调整Python/R依赖
- 使用项目提供的Kubernetes对象定义文件部署集群组件
部署示例
镜像构建（参考源码）
bash# 克隆源码仓库 git clone https://github.com/Anchormen/spark-hdfs-on-kubernetes.git cd spark-hdfs-on-kubernetes # 根据项目Dockerfile构建镜像 docker build -t angelsevillacamins/docker-hadoop-datanode ./datanode
Kubernetes部署（参考项目配置）
bash# 应用Kubernetes配置文件启动集群组件 kubectl apply -f k8s-configs/hdfs-datanode.yaml kubectl apply -f k8s-configs/spark-worker.yaml
更多详细配置与部署步骤可参考https://github.com/Anchormen/spark-hdfs-on-kubernetes%E5%8F%8A%E5%8D%9A%E5%AE%A2%E6%96%87%E7%AB%A0%E3%80%82
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
轩辕镜像加速拉取命令点我查看更多 docker-hadoop-datanode 镜像标签
docker pull docker.xuanyuan.run/angelsevillacamins/docker-hadoop-datanode:<标签>
DockerHub 原生拉取命令
docker pull angelsevillacamins/docker-hadoop-datanode:<标签>
镜像拉取常见问题
功能
错误码
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"