maorfr/skbn

Skbn 镜像文档

镜像概述和主要用途

Skbn是一个专注于在Kubernetes与云存储服务之间进行文件和目录复制的工具，名称源自1981年的视频游戏《Sokoban》。它通过内存缓冲区实现高效复制，有效控制内存消耗，支持多种主流云存储提供商，包括AWS S3、Minio S3、Azure Blob Storage和Google Cloud Storage，适用于容器环境与云存储间的数据迁移、备份和同步场景。

核心功能和特性

• 多存储兼容：支持AWS S3、Minio S3、Azure Blob Storage、Google Cloud Storage等多种存储服务
• 内存优化设计：采用内存缓冲区机制，避免复制过程中的过度内存占用
• 双向传输支持：实现Kubernetes与云存储之间的双向文件复制
• 跨存储复制：支持不同云存储服务间的直接文件传输（如S3到Azure Blob）
• 并行复制能力：可配置并行复制文件数量，提升大规模文件传输效率
• 缓冲区自定义：允许调整内存缓冲区大小，适应不同性能需求

使用场景和适用范围

• Kubernetes集群与云存储间的文件备份与恢复
• 跨云平台数据迁移（如AWS S3到Google Cloud Storage）
• 容器内文件与云存储的实时同步
• Minio等私有S3兼容存储与Kubernetes的集成

详细使用方法和配置说明

基本复制命令

从Kubernetes复制到S3

bash
skbn cp \
    --src k8s://<namespace>/<podName>/<containerName>/<path> \
    --dst s3://<bucket>/<path>

从S3复制到Kubernetes

bash
skbn cp \
    --src s3://<bucket>/<path> \
    --dst k8s://<namespace>/<podName>/<containerName>/<path>

从Kubernetes复制到Azure Blob Storage

bash
skbn cp \
    --src k8s://<namespace>/<podName>/<containerName>/<path> \
    --dst abs://<account>/<container>/<path>

从Azure Blob Storage复制到Kubernetes

bash
skbn cp \
    --src abs://<account>/<container>/<path> \
    --dst k8s://<namespace>/<podName>/<containerName>/<path>

从Kubernetes复制到Google Cloud Storage

bash
skbn cp \
    --src k8s://<namespace>/<podName>/<containerName>/<path> \
    --dst gcs://<bucket>/<path>

高级用法

并行复制文件

bash
skbn cp \
    --src <source> \
    --dst <destination> \
    --parallel <n>

• n：并行复制的文件数量（0表示完全并行）

设置内存缓冲区大小

bash
skbn cp \
    --src <source> \
    --dst <destination> \
    --buffer-size <f>

• f：复制文件使用的内存缓冲区大小（单位：MB），与--parallel同时使用时需注意内存占用
• 默认值：6.75 MB（基于基准测试优化）

Minio S3支持

通过环境变量配置Minio S3端点：

bash
export AWS_ACCESS_KEY_ID=<用户名>
export AWS_SECRET_ACCESS_KEY=<密码>
export AWS_S3_ENDPOINT=http(s)://<host>:<port>
export AWS_S3_NO_SSL=true  # 可选，禁用SSL
export AWS_S3_FORCE_PATH_STYLE=true  # 可选，强制路径样式桶访问

跨存储复制示例

S3到Azure Blob Storage

bash
skbn cp \
    --src s3://<bucket>/<path> \
    --dst abs://<account>/<container>/<path>

Azure Blob Storage到S3

bash
skbn cp \
    --src abs://<account>/<container>/<path> \
    --dst s3://<bucket>/<path>

Kubernetes到Kubernetes

bash
skbn cp \
    --src k8s://<namespace>/<podName>/<containerName>/<path> \
    --dst k8s://<namespace>/<podName>/<containerName>/<path>

S3到S3

bash
skbn cp \
    --src s3://<bucket>/<path> \
    --dst s3://<bucket>/<path>

Azure Blob Storage到Azure Blob Storage

bash
skbn cp \
    --src abs://<account>/<container>/<path> \
    --dst abs://<account>/<container>/<path>

认证配置

Kubernetes

Skbn按以下优先级获取凭证：

1. KUBECONFIG环境变量指定的配置文件（使用当前上下文）
2. ~/.kube/config文件（集群外客户端配置）
3. 集群内配置（当~/.kube/config不存在时，假定在Pod内运行）

AWS S3

使用AWS默认凭证链，需设置：

• AWS_REGION：AWS区域（默认：eu-central-1）

Azure Blob Storage

通过环境变量认证：

• AZURE_STORAGE_ACCOUNT：存储账户名
• AZURE_STORAGE_ACCESS_KEY：存储访问密钥

Google Cloud Storage

使用Google应用默认凭证：

• 优先读取GOOGLE_APPLICATION_CREDENTIALS环境变量指向的凭证文件
• 未设置时使用默认服务账户凭证

Docker部署示例

基本Docker运行命令

bash
docker run --rm \
    -e KUBECONFIG=/kube/config \
    -v ~/.kube/config:/kube/config \
    -e AWS_ACCESS_KEY_ID=your_aws_key \
    -e AWS_SECRET_ACCESS_KEY=your_aws_secret \
    -e AWS_REGION=us-east-1 \
    maorfr/skbn cp \
    --src k8s://default/my-pod/my-container/path/to/file \
    --dst s3://my-bucket/path/to/destination

Docker Compose配置

yaml
version: '3'
services:
  skbn:
    image: maorfr/skbn
    environment:
      - KUBECONFIG=/kube/config
      - AWS_ACCESS_KEY_ID=your_aws_key
      - AWS_SECRET_ACCESS_KEY=your_aws_secret
      - AWS_REGION=us-east-1
    volumes:
      - ~/.kube/config:/kube/config
    command: cp --src k8s://default/my-pod/my-container/path/to/file --dst s3://my-bucket/path/to/destination