quanted/qed-dask

QED Dask镜像文档

1. 镜像概述

QED Dask镜像是QED项目中用于部署Dask分布式计算框架的专用镜像，支持Dask Scheduler（调度器）和Dask Worker（工作节点）组件的部署。该镜像基于quanted/qed-dask构建，旨在为本地Kubernetes开发环境提供分布式计算能力，实现任务的高效调度与并行执行。

2. 核心功能与特性

• 双角色支持：同时支持Dask Scheduler（任务调度）和Dask Worker（任务执行）两种角色
• 分布式计算：提供任务并行处理能力，支持大规模数据处理和计算任务
• Kubernetes集成：适配Kubernetes环境，可通过Deployment资源定义实现容器化部署
• 卷挂载支持：支持hostPath卷挂载，用于数据持久化和配置文件共享（单节点集群场景）
• 服务暴露：通过Kubernetes Service资源暴露调度器端口，支持外部访问

3. 使用场景与适用范围

• 本地Kubernetes开发：在Minikube等本地单节点Kubernetes集群中构建分布式计算环境
• 任务并行处理：需要将计算任务分解为多个子任务并行执行的场景
• QED项目集成：作为QED项目生态的一部分，与Django、Flask等组件协同工作
• 开发与测试：用于分布式计算逻辑的开发、调试和性能测试

4. 使用方法与配置说明

4.1 前置要求

• Docker环境
• Kubernetes CLI（kubectl）
• Minikube（本地Kubernetes集群）
• VirtualBox（Minikube虚拟化驱动，Mac环境推荐）

4.2 镜像获取

shell
# 拉取QED Dask镜像
docker pull quanted/qed-dask:latest

4.3 部署Dask Scheduler

4.3.1 创建Deployment资源

创建dask-scheduler-deployment.yml文件，内容示例：

yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: dask-scheduler
spec:
  replicas: 1
  selector:
    matchLabels:
      app: dask-scheduler
  template:
    metadata:
      labels:
        app: dask-scheduler
    spec:
      containers:
      - name: dask-scheduler
        image: quanted/qed-dask:latest
        command: ["dask-scheduler"]
        ports:
        - containerPort: 8786  # 内部通信端口
        - containerPort: 8787  # Web UI端口

4.3.2 创建Service资源

创建dask-scheduler-service.yml文件，暴露服务端口：

yaml
apiVersion: v1
kind: Service
metadata:
  name: dask-scheduler
spec:
  selector:
    app: dask-scheduler
  ports:
  - port: 8786
    targetPort: 8786
  - port: 8787
    targetPort: 8787
  type: NodePort  # 本地开发环境推荐

4.3.3 部署命令

shell
# 创建调度器Deployment
kubectl create -f dask-scheduler-deployment.yml

# 创建调度器Service
kubectl create -f dask-scheduler-service.yml

4.4 部署Dask Worker

4.4.1 创建Deployment资源

创建qed-dask-worker-deployment.yml文件，内容示例：

yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: qed-dask-worker
spec:
  replicas: 3  # 根据需求调整worker数量
  selector:
    matchLabels:
      app: qed-dask-worker
  template:
    metadata:
      labels:
        app: qed-dask-worker
    spec:
      containers:
      - name: qed-dask-worker
        image: quanted/qed-dask:latest
        command: ["dask-worker", "dask-scheduler:8786"]  # 连接到调度器
        volumeMounts:
        - name: qed-data
          mountPath: /qed  # 挂载QED数据卷
      volumes:
      - name: qed-data
        hostPath:
          path: /absolute/path/to/qed/data  # 需替换为实际绝对路径

4.4.2 部署命令

shell
# 调整hostPath绝对路径（若使用脚本）
./set-absolute-path.sh

# 创建worker Deployment
kubectl create -f qed-dask-worker-deployment.yml

4.5 常用操作命令

shell
# 查看Dask组件状态
kubectl get pods | grep dask

# 查看调度器日志
kubectl logs <dask-scheduler-pod-name>

# 查看worker日志
kubectl logs <qed-dask-worker-pod-name>

# 进入worker容器
kubectl exec -it <qed-dask-worker-pod-name> -- /bin/bash

# 扩展worker数量
kubectl scale --replicas=5 -f qed-dask-worker-deployment.yml

5. 镜像构建状态

6. 注意事项

• 单节点集群限制：当前配置使用hostPath卷，仅支持单节点Kubernetes集群（如Minikube），生产环境需替换为云服务商支持的卷类型（如AWS ElasticBlockStore、AzureDisk）
• 路径配置：hostPath卷需使用绝对路径，可通过执行set-absolute-path.sh脚本自动更新路径
• 资源调整：根据实际计算需求调整worker数量（replicas）和资源限制（resources.limits）
• 网络访问：通过Minikube IP和NodePort访问Dask Web UI，获取Minikube IP命令：minikube ip