inseefrlab/onyxia-sparkr

R与Spark集成环境镜像

镜像概述

本镜像提供一个最小化的R运行环境，已预先配置SparkR包，旨在实现R语言与Apache Spark的无缝集成。用户可直接在R环境中调用Spark的分布式计算功能，无需手动配置Spark与R的连接，适用于需要结合R语言数据分析能力与Spark大数据处理能力的场景。

核心功能与特性

• 轻量级环境：基于最小化R基础镜像构建，减少资源占用，适合容器化部署
• SparkR预配置：已集成SparkR包，无需额外安装配置即可使用
• Spark兼容性：支持通过R语言调用Spark的核心API，包括数据帧操作、分布式计算等
• 即开即用：启动容器后可直接进入R交互环境，快速开始数据分析工作

使用场景

• 大数据环境下的R语言统计分析与数据处理
• 需要利用Spark分布式计算能力的R数据分析任务
• R机器学习模型在Spark集群上的训练与部署
• 教学与开发环境中R与Spark集成的快速搭建

使用方法与配置说明

基本使用

通过以下命令启动容器并进入R交互环境：

bash
docker run -it --rm [镜像名称] R

连接Spark集群

若需连接外部Spark集群，可通过SPARK_MASTER环境变量指定Spark Master地址：

bash
docker run -it --rm -e SPARK_MASTER=spark://spark-master:7077 [镜像名称] R

数据持久化

挂载本地目录以实现数据共享：

bash
docker run -it --rm -v /本地数据目录:/data [镜像名称] R

基本操作示例

在R环境中初始化Spark会话并执行简单操作：

R
# 加载SparkR包
library(SparkR)

# 初始化Spark会话（默认使用local模式，或通过环境变量指定集群）
sparkR.session(master = Sys.getenv("SPARK_MASTER", "local[*]"),
               appName = "R-Spark-Example")

# 创建Spark数据帧
df <- createDataFrame(data.frame(name = c("Alice", "Bob"), age = c(25, 30)))

# 显示数据
showDF(df)

# 执行数据分析操作
result <- select(df, "name")
showDF(result)

# 停止Spark会话
sparkR.stop()

docker-compose配置示例

创建docker-compose.yml文件实现更复杂的部署：

yaml
version: '3'
services:
  r-spark:
    image: [镜像名称]
    environment:
      - SPARK_MASTER=spark://spark-master:7077
    volumes:
      - ./data:/data
    depends_on:
      - spark-master
  spark-master:
    image: bitnami/spark:latest
    command: bin/spark-class org.apache.spark.deploy.master.Master
    ports:
      - "7077:7077"
      - "8080:8080"