jdoepfert/docker-distributed

Docker部署Python分布式计算集群

本镜像提供Docker容器化环境的配置示例，用于通过Python进行交互式集群计算，集成http://jupyter.org/、https://distributed.readthedocs.org/以及http://dask.pydata.org/等PyData和SciPy生态系统工具。

镜像概述

该镜像适用于通过Docker Swarm+Compose或Kubernetes等容器编排工具，在本地或公有云环境部署分布式计算集群。配置文件基于开源工具，支持Azure Container Service、Google Container Engine等云服务。

核心功能

• 包含conda和pip工具，可安装额外库；
• 提供Jupyter Notebook网页界面；
• 集成dask和distributed分布式计算框架；
• 包含psutil和bokeh工具，支持集群监控网页界面。

使用场景

• 数据科学和机器学习的分布式计算任务；
• 大规模数据处理和分析；
• 交互式集群计算实验和原型开发。

配置说明

本地运行示例

拉取并运行镜像：

bash
docker pull docker.xuanyuan.run/ogrisel/distributed:latest
docker run -ti --rm docker.xuanyuan.run/ogrisel/distributed bash

Kubernetes部署示例（以Google Container Engine为例）

1. 创建GKE集群：

bash
gcloud config set compute/zone europe-west1-d
gcloud container clusters create cluster-1 --num-nodes 3 --machine-type n1-highcpu-32 --preemptible

2. 获取集群凭证并部署服务：

bash
gcloud container clusters get-credentials cluster-1
git clone https://github.com/ogrisel/docker-distributed && cd docker-distributed
kubectl create -f kubernetes/

3. 访问服务：通过kubectl get services获取外部IP，访问Jupyter Notebook（80端口）和监控界面（8787端口）。

Docker Compose部署示例（以Carina为例）

1. 创建Carina集群：

bash
carina create --nodes=3 --wait cluster-1
eval $(carina env cluster-1)

2. 部署服务：

bash
git clone https://github.com/ogrisel/docker-distributed && cd docker-distributed
docker-compose up -d
docker-compose scale dworker=3

3. 访问服务：通过docker ps获取Jupyter端口（8888）和监控端口（8787）。

注意：生产环境需配置HTTPS反向代理并设置Jupyter密码，多用户场景建议使用Jupyter Hub。 ===END===