openeuler/spark

Spark | openEuler

当前Spark Docker镜像基于https://repo.openeuler.org/构建。本仓库免费使用且无用户速率限制。

Apache Spark是一个多语言引擎，用于在单节点机器或集群上执行数据工程、数据科学和机器学习任务。它提供Scala、Java、Python和R的高级API，以及支持数据分析通用计算图的优化引擎。还支持丰富的高级工具，包括用于SQL和DataFrames的Spark SQL、用于pandas工作负载的pandas API on Spark、用于机器学习的MLlib、用于图处理的GraphX和用于流处理的Structured Streaming。

了解更多请访问https://spark.apache.org/。

支持的标签及对应Dockerfile链接

每个Spark Docker镜像的标签由Spark版本和基础镜像版本组成，详情如下：

使用方法

在使用时，用户可根据需求选择相应的{Tag}。

在线文档

最新的Spark文档（包括编程指南）可在https://spark.apache.org/documentation.html查看。本README仅包含基本设置说明。

从Docker拉取openeuler/spark镜像

bash
docker pull docker.xuanyuan.run/openeuler/spark:{Tag}

交互式Scala Shell

使用Spark最简单的方式是通过Scala shell：

bash
docker run -it --name spark docker.xuanyuan.run/openeuler/spark:{Tag} /opt/spark/bin/spark-shell

尝试以下命令，应返回1,000,000,000：

bash
scala> spark.range(1000 * 1000 * 1000).count()

交互式Python Shell

使用PySpark最简单的方式是通过Python shell：

bash
docker run -it --name spark docker.xuanyuan.run/openeuler/spark:{Tag} /opt/spark/bin/pyspark

运行以下命令，也应返回1,000,000,000：

bash
>>> spark.range(1000 * 1000 * 1000).count()

在Kubernetes上运行Spark

https://spark.apache.org/docs/latest/running-on-kubernetes.html

配置和环境变量

详见https://github.com/apache/spark-docker/blob/master/OVERVIEW.md#environment-variable

问题与解答

如有任何问题或需要使用特定功能，请在https://gitee.com/openeuler/openeuler-docker-images提交issue或拉取请求。