illuin/pyspark
illuin
自动构建
基于Java 8和Python 3.6的Docker化PySpark镜像，用于快速部署和运行Spark数据处理与机器学习应用。
下载次数: 0状态：自动构建维护者：illuin仓库类型：镜像最近更新：7 年前
让 AI 帮你使用轩辕镜像？ · 展开查看说明 · 点击收起说明
如果你使用 DeepSeek、元宝 AI、Copilot、ChatGPT 等 AI 工具，协助配置轩辕镜像、编写 docker pull 命令、修改 Docker Compose 镜像地址、配置镜像加速、排查镜像拉取失败、分析报错日志等问题，请先让 AI 阅读并遵守轩辕镜像的规则文档。
只需在 AI 对话中先发送下面这段话即可：
请先阅读并遵守：https://xuanyuan.cloud/agents.md
未读文档前不要生成 pull 命令或排错方案。查看 agents.md 用法指南与完整示范。国内用户首推 元宝 AI、DeepSeek 的深度思考模式，不推荐豆包 AI；Cursor 等编辑器可在对话 @ 该链接，或加入 User Rules。 若 AI 无法访问外链，可 打开说明文档 复制全文粘贴。文档会随站点更新，复制内容可能过期，建议定期检查。
Docker PySpark镜像
整合Java 8 + PySpark 2.3.2的Docker镜像，简化Spark环境搭建流程
镜像概述
本镜像内置Java 8运行环境、Python 3.6及PySpark 2.3.2，提供开箱即用的Spark开发与执行环境，无需手动配置依赖，帮助用户快速启动Spark相关任务。
核心功能
- 包含Java 8与Python 3.6基础运行环境
- 预安装PySpark 2.3.2，支持Spark应用的开发与分布式计算
- 支持通过构建参数指定PySpark版本
使用场景
- 数据处理任务中的Spark应用开发与测试
- 机器学习项目中基于Spark的分布式计算场景
- 快速搭建临时Spark环境进行原型验证
配置说明
构建镜像时可通过--build-arg参数指定PySpark版本，示例：
bashdocker build --build-arg PYSPARK_VERSION=2.3.2 -t custom-pyspark .
部署示例
创建并运行容器：
bashdocker create -it illuin/pyspark bash
（注：原描述中命令使用的镜像名称可能存在笔误，实际镜像名称为illuin/pyspark）
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
DockerHub 原生拉取命令
docker pull illuin/pyspark:<标签>
镜像拉取常见问题
功能
错误码
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"
