nuvo/skbn

Skbn

Skbn 是一款用于在 Kubernetes 与云存储提供商之间复制文件和目录的工具，名称来源于 1981 年的视频游戏 Sokoban。该工具通过内存缓冲区进行复制过程，以避免过度内存消耗。目前支持以下云存储提供商：

• AWS S3
• Azure Blob Storage

镜像概述和主要用途

Skbn 旨在解决 Kubernetes 环境与云存储服务之间的文件传输需求，提供简单高效的跨平台文件复制能力。无论是从 Kubernetes 集群内复制文件到云存储，还是从云存储复制文件到 Kubernetes 集群，Skbn 都能通过统一的命令行接口完成操作，同时支持不同云存储服务之间的直接文件传输。

核心功能和特性

• 跨平台文件复制：支持 Kubernetes 与 AWS S3、Azure Blob Storage 之间的双向文件传输
• 内存高效：采用内存缓冲区机制，避免大量文件复制时的内存过度消耗
• 多方向传输：支持云存储服务之间（如 S3 与 Azure Blob Storage）、Kubernetes 集群内不同资源之间的文件复制
• 可配置性：支持并行复制和自定义缓冲区大小，优化传输性能

安装

先决条件

1. git
2. https://github.com/golang/dep%EF%BC%88Go 依赖管理工具）

从发布版安装

从 https://github.com/nuvo/skbn/releases 下载最新版本，或直接使用 https://hub.docker.com/r/nuvo/skbn%E3%80%82

从源码安装

bash
mkdir -p $GOPATH/src/github.com/nuvo && cd $_
git clone https://github.com/nuvo/skbn.git && cd skbn
make

使用方法

从 Kubernetes 复制文件到 S3

bash
skbn cp \
    --src k8s://<namespace>/<podName>/<containerName>/<path> \
    --dst s3://<bucket>/<path>

从 S3 复制文件到 Kubernetes

bash
skbn cp \
    --src s3://<bucket>/<path> \
    --dst k8s://<namespace>/<podName>/<containerName>/<path>

从 Kubernetes 复制文件到 Azure Blob Storage

bash
skbn cp \
    --src k8s://<namespace>/<podName>/<containerName>/<path> \
    --dst abs://<account>/<container>/<path>

从 Azure Blob Storage 复制文件到 Kubernetes

bash
skbn cp \
    --src abs://<account>/<container>/<path> \
    --dst k8s://<namespace>/<podName>/<containerName>/<path>

高级用法

并行复制文件

bash
skbn cp \
    --src ... \
    --dst ... \
    --parallel <n>

• n 为并行复制的文件数量（使用 0 表示完全并行）

设置内存缓冲区大小

Skbn 通过内存缓冲区复制文件，可通过以下命令控制缓冲区大小：

bash
skbn cp \
    --src ... \
    --dst ... \
    --buffer-size <f>

• f 为文件复制的内存缓冲区大小（单位：MB），与 --parallel 同时使用时需谨慎
• 默认缓冲区大小为 6.75 MB，基于基准测试结果设定

附加功能

S3 到 Azure Blob Storage 复制

bash
skbn cp \
    --src s3://<bucket>/<path> \
    --dst abs://<account>/<container>/<path>

Azure Blob Storage 到 S3 复制

bash
skbn cp \
    --src abs://<account>/<container>/<path> \
    --dst s3://<bucket>/<path>

Kubernetes 到 Kubernetes 复制

bash
skbn cp \
    --src k8s://<namespace>/<podName>/<containerName>/<path> \
    --dst k8s://<namespace>/<podName>/<containerName>/<path>

S3 到 S3 复制

bash
skbn cp \
    --src s3://<bucket>/<path> \
    --dst s3://<bucket>/<path>

Azure Blob Storage 到 Azure Blob Storage 复制

bash
skbn cp \
    --src abs://<account>/<container>/<path> \
    --dst abs://<account>/<container>/<path>

凭证配置

Kubernetes

Skbn 按以下顺序获取凭证：

1. 若设置 KUBECONFIG 环境变量，使用该配置文件中的当前上下文
2. 若 ~/.kube/config 文件存在，使用该文件中的当前上下文（https://github.com/kubernetes/client-go/tree/master/examples/out-of-cluster-client-configuration%EF%BC%89
3. 若 ~/.kube/config 文件不存在，默认在 Pod 内运行，使用 https://github.com/kubernetes/client-go/tree/master/examples/in-cluster-client-configuration

AWS

Skbn 使用 AWS 默认 凭证链。需设置 AWS_REGION 环境变量（默认值：eu-central-1）。

Azure Blob Storage

Skbn 通过 AZURE_STORAGE_ACCOUNT 和 AZURE_STORAGE_ACCESS_KEY 环境变量进行认证。

示例

1. 集群内示例
2. 代码示例