3rdman/dotnet-spark

.NET for Apache Spark 非官方镜像

!.NET for Apache Spark Docker

概述

本镜像为.NET for Apache Spark提供非官方容器化环境，包含以下三种类型：

• 运行时环境
• 开发环境
• 交互式笔记本环境

关于.NET for Apache Spark的更多详情，请参考以下资源：

GitHub: https://github.com/dotnet/spark/blob/master/README.md

.NET官方页面: [***]

相关博客文章: [***]

容器操作系统支持

自.NET for Apache Spark 1.0.0版本起，仅支持以下操作系统和架构：

--os linux --arch amd64

Windows容器镜像的实验性支持已在1.0.0版本中移除。如有需求，请通过https://github.com/indy-3rdman/docker-dotnet-spark%E6%8F%90%E4%BA%A4%E8%AF%B7%E6%B1%82%E3%80%82

标签说明

随着.NET for Apache Spark 1.0.0版本的发布，标签方案也已更新，以支持不同镜像类型：

• 运行时镜像：标签格式为.NET for Apache Spark版本-Apache Spark版本
  例如：2.1.0-3.2.1（2.1.0为.NET for Apache Spark版本，3.2.1为Apache Spark版本）

• 开发镜像：标签格式为Apache Spark版本-dev
  例如：2.4.6-dev

• 交互式镜像：标签格式为.NET for Apache Spark版本-Apache Spark版本-interactive
  例如：1.0.0-2.4.7-interactive（1.0.0为.NET for Apache Spark版本，2.4.7为Apache Spark版本）

查看https://hub.docker.com/r/3rdman/dotnet-spark/tags

运行时镜像 (https://github.com/indy-3rdman/docker-dotnet-spark/tree/master/images/runtime)

快速参考

运行时镜像用于测试.NET for Apache Spark，无需手动安装依赖。默认启动Apache Spark的master实例和一个slave实例。

bash
docker run -d --name dotnet-spark -p 8080:8080 -p 8081:8081 3rdman/dotnet-spark:latest

启动后，通过交互式终端操作：

bash
docker exec -it dotnet-spark bash

Spark master的WebUI监听端口8080，worker的WebUI监听端口8081。

HelloSpark示例使用

HelloSpark示例（源自https://github.com/dotnet/spark/blob/master/docs/getting-started/ubuntu-instructions.md%EF%BC%89%E4%BD%8D%E4%BA%8E%E5%AE%B9%E5%99%A8%E5%86%85%60/dotnet/HelloSpark%60%E7%9B%AE%E5%BD%95%E3%80%82

参考上述URL的说明或该目录下的README.txt文件。如需在多worker环境测试，在交互式终端中执行：

bash
spark-submit --class org.apache.spark.deploy.dotnet.DotnetRunner --master spark://$HOSTNAME:$SPARK_MASTER_PORT microsoft-spark-3-2_2.12-2.1.0.jar dotnet HelloSpark.dll

Spark日志文件位于/spark/logs目录。

配置参数

SPARK_MASTER_PORT

• 用途：提交作业到master的端口
• 默认值：7077

SPARK_MASTER_WEBUI_PORT

• 用途：master的WebUI端口
• 默认值：8080

SPARK_WORKER_WEBUI_PORT

• 用途：worker的WebUI起始端口
• 默认值：8081

SPARK_SUBMIT_PACKAGES

• 用途：仅在调试后端时使用
• 默认值：空字符串

使用Visual Studio或Visual Studio Code调试

本镜像提供对调试模式下DotnetRunner的实验性支持。

容器启动时，spark-submit会以调试模式启动DotnetRunner（同时启动master和worker实例），等待Visual Studio通过端口5567连接。调试需将项目的Debug文件夹映射到容器的/dotnet/Debug目录。

示例：

bash
docker run -d --name dotnet-spark -p 5567:5567 -v "C:\DEV\dotnet\ActiveMqTest\bin\Debug:/dotnet/Debug" -e SPARK_SUBMIT_PACKAGES="org.apache.bahir:spark-sql-streaming-mqtt_2.11:2.3.3" 3rdman/dotnet-spark:0.12.1-spark-2.3.3-linux

若解决方案依赖额外jar文件（非Maven可下载包），需将其复制到项目的bin\Debug\netcoreapp3.1目录，以便spark-submit使用。

详细说明参见博客文章或Linux下使用VS Code的指南。

开发镜像 (https://github.com/indy-3rdman/docker-dotnet-spark/tree/master/images/dev)

用于自行构建.NET for Apache Spark。

基本使用

启动容器：

bash
docker run --name dotnet-spark-dev -d 3rdman/dotnet-spark:dev-latest

附加交互式终端：

bash
docker exec -it dotnet-spark bash

浏览器中使用VS Code

将code-server映射到主机端口：

bash
docker run --name dotnet-spark-dev -d -p 127.0.0.1:8888:8080 3rdman/dotnet-spark:dev-latest

!VS Code浏览器界面

详细步骤参见文章。

交互式笔记本镜像 (https://github.com/indy-3rdman/docker-dotnet-spark/tree/master/images/interactive)

通过Jupyter Notebooks交互式探索.NET for Apache Spark。

启动容器

bash
docker run --name dotnet-spark-interactive -d -p 8888:8888 3rdman/dotnet-spark:interactive-latest

获取Jupyter连接URL

查看容器日志获取带认证令牌的URL：

bash
docker logs -f dotnet-spark-interactive

!启动演示

更多详情参见博客文章。

其他资源

• 快速测试HelloSpark示例：文章
• 数据库写入（IForeachWriter接口，0.9.0+支持）：文章
• 调试相关：
  • Linux下使用VS Code和df.Collect()
  • UDF、VS2019和Docker for Windows