dagster/dagster-k8s

Kubernetes主机进程镜像

镜像概述和主要用途

本镜像为Kubernetes环境设计，是一种特殊类型的容器镜像，支持主机进程模式（Host Process）。与常规容器的隔离模式不同，该镜像允许Pod直接以主机命名空间运行进程，绕过容器化的资源隔离层，从而直接访问主机的PID、网络、UTS、文件系统等核心资源。主要用于需要与主机系统深度交互的场景，填补常规容器隔离模式下无法直接操作主机资源的空白。

核心功能和特性

1. 主机命名空间直接访问

• 支持挂载主机PID命名空间，可查看和管理主机进程（ps -ef直接显示主机进程）
• 共享主机网络命名空间，直接使用主机网络栈（无需端口映射，可监听主机端口）
• 共享主机UTS命名空间，使用主机的主机名和域名解析
• 可选共享主机IPC命名空间，支持与主机进程进行IPC通信

2. 主机资源无隔离访问

• 直接访问主机文件系统（如/proc、/sys、/dev等系统目录）
• 使用主机用户和组权限运行（支持指定主机用户ID，如root）
• 无需通过容器网络桥接，直接与主机网络设备交互

3. 轻量级运行模式

• 无需容器化隔离层，进程直接运行在主机环境
• 减少容器运行时开销，适合资源敏感型主机管理任务

使用场景和适用范围

典型应用场景

• 系统级监控工具：需采集主机进程状态、系统资源使用率（如CPU、内存、磁盘I/O）
• 主机日志收集：直接读取主机日志文件（如/var/log）并转发至集中日志系统
• 网络配置管理：配置主机网络接口、路由表、防火墙规则（如Calico、Flannel等网络插件）
• 主机设备管理：访问主机硬件设备（如GPU、存储控制器）并进行配置
• 安全审计工具：监控主机系统调用、文件系统变更、进程行为

适用范围

• Kubernetes集群版本需≥1.23（HostProcess Pod特性GA版本）
• 仅支持Windows和Linux节点（Linux需内核版本≥5.2）
• 需集群管理员权限（创建HostProcess Pod需hostprocess相关RBAC权限）

使用方法和配置说明

前置条件

• Kubernetes集群版本≥1.23
• 节点已启用HostProcess特性（部分发行版需手动开启FeatureGate）
• 集群管理员权限（用于创建包含hostProcess: true的Pod）

Kubernetes部署示例

以下为Linux节点的HostProcess Pod部署示例（YAML配置）：

yaml
apiVersion: v1
kind: Pod
metadata:
  name: host-process-demo
  namespace: kube-system  # HostProcess Pod需在特权命名空间（如kube-system）
spec:
  hostProcess: true  # 启用主机进程模式
  containers:
  - name: host-process-container
    image: [镜像名称]:[标签]  # 替换为实际主机进程镜像地址
    command: ["/path/to/host/process"]  # 要在主机运行的进程路径
    securityContext:
      runAsUser: 0  # 以root用户运行（通常需要主机级权限）
      runAsGroup: 0
  hostPID: true  # 共享主机PID命名空间（可选，按需启用）
  hostNetwork: true  # 共享主机网络命名空间（可选，按需启用）
  hostIPC: true  # 共享主机IPC命名空间（可选，按需启用）
  volumes:
  - name: host-root
    hostPath:
      path: /  # 挂载主机根目录（按需调整挂载路径）
  volumeMounts:
  - name: host-root
    mountPath: /host  # 容器内访问主机根目录的路径

关键配置参数说明

注意事项

1. 安全风险：HostProcess Pod直接访问主机资源，存在较高安全风险，需严格限制使用范围，仅授权可信镜像和用户。
2. 权限控制：建议通过RBAC限制hostProcess权限，仅集群管理员可创建此类Pod。
3. 兼容性：不同Kubernetes发行版（如AKS、EKS、GKE）对HostProcess的支持可能存在差异，需提前验证节点兼容性。
4. 资源限制：HostProcess进程不支持常规容器的CPU/内存限制，需通过主机级工具（如systemd）控制资源使用。