sidekick

minio/sidekick Docker Image

sidekick 是一款高性能边车(sidecar)负载均衡器,通过附加到客户端应用进程消除集中式负载均衡器瓶颈和DNS故障转移管理,可通过就绪API和HTTP错误返回自动检测并避开故障服务器。

1 次收藏下载次数: 0状态:社区镜像维护者:MinIO 对象存储仓库类型:镜像最近更新:

sidekick 高性能边车负载均衡器

sidekick 是一款高性能边车(sidecar)负载均衡器。通过将轻量级负载均衡器作为边车附加到每个客户端应用进程,可消除集中式负载均衡器瓶颈和DNS故障转移管理。sidekick 通过就绪API和HTTP错误返回检查服务器健康状态,自动避免将流量发送到故障服务器。

演示

核心功能与特性

  • 边车部署模式:作为客户端应用进程的边车容器运行,贴近应用层提供负载均衡
  • 自动故障检测:通过健康检查路径(如/minio/health/ready)和HTTP错误返回识别故障服务器
  • 多站点容灾:支持多站点配置,当主站点所有服务器故障时自动切换到备用站点
  • 高性能:轻量级设计,低资源占用,无额外性能开销
  • 健康检查机制:可配置健康检查路径和间隔时间,默认每5秒检查一次
  • TLS支持:可禁用TLS证书验证(--insecure选项)以适应内部环境
  • 日志与追踪:支持日志输出、HTTP追踪及JSON格式日志,便于监控和调试
  • S3缓存集成:支持配置S3兼容对象存储作为共享缓存,提升热点数据访问性能

使用场景

  • 分布式服务负载均衡:为Web服务、API服务等分布式应用提供本地负载均衡
  • 对象存储访问优化:与MinIO等对象存储配合,优化客户端访问性能和可靠性
  • Kubernetes环境边车:作为K8s Pod中的边车容器,为Spark、Flink等计算框架提供服务发现和负载均衡
  • 多站点容灾部署:跨数据中心或可用区的服务部署,实现站点级故障自动转移
  • 大数据处理加速:在Spark等大数据作业中作为MinIO客户端的本地负载均衡器,提升数据读写效率

安装

Docker

拉取最新版本镜像:

bash
docker pull docker.xuanyuan.run/minio/sidekick

使用方法

命令行参数

USAGE:
  sidekick [FLAGS] SITE1 [SITE2..]

FLAGS:
  --address value, -a value          监听地址 (默认: ":8080")
  --health-path value, -p value      健康检查路径
  --health-duration value, -d value  健康检查间隔(秒) (默认: 5)
  --insecure, -i                     禁用TLS证书验证
  --log , -l                         启用日志
  --trace, -t                        启用HTTP追踪
  --quiet                            禁用控制台消息
  --json                             以JSON格式输出日志和追踪
  --debug                            输出详细追踪日志
  --help, -h                         显示帮助信息
  --version, -v                      打印版本信息

SITE:
每个SITE是用逗号分隔的同一站点的服务器组,例如:http://172.17.0.{2...5},http://172.17.0.{6...9}
当SITE1中所有服务器均故障时,流量将路由到下一个站点(如SITE2)。多个站点之间用空格分隔。

使用示例

基于DNS解析IP的Web服务负载均衡

bash
sidekick --health-path=/ready http://myapp.myorg.dom

4个MinIO服务器负载均衡([] 至 [])

bash
sidekick --health-path=/minio/health/ready --address :8000 http://minio{1...4}:9000

两个站点(每个站点4台服务器)

bash
sidekick --health-path=/minio/health/ready http://site1-minio{1...4}:9000 http://site2-minio{1...4}:9000

实际案例:与Spark Orchestrator集成

在Kubernetes环境中,将sidekick作为Spark Driver和Executor的边车容器,为MinIO分布式集群提供本地负载均衡。

前提条件

  • Kubernetes集群
  • Spark Operator(GCP维护版本)
  • MinIO分布式集群

配置Spark Orchestrator

bash
# 创建命名空间(可选)
kubectl create ns spark-operator

# 添加Helm仓库并安装Spark Operator
helm repo add incubator http://storage.googleapis.com/kubernetes-charts-incubator
helm install spark-operator incubator/sparkoperator --namespace spark-operator --set sparkJobNamespace=spark-operator --set enableWebhook=true

安装MinIO分布式集群

bash
helm install minio-distributed stable/minio --namespace spark-operator \
  --set accessKey=minio,secretKey=minio123 \
  --set persistence.enabled=false,mode=distributed

注意:测试环境中禁用了持久化,生产环境需使用PV启用持久化存储。详细配置参见https://github.com/helm/charts/tree/master/stable/minio。

在K8s中运行Spark作业

创建Spark作业配置文件spark-job.yaml:

yaml
apiVersion: "sparkoperator.k8s.io/v1beta2"
kind: SparkApplication
metadata:
  name: spark-minio-app
  namespace: spark-operator
spec:
  sparkConf:
    spark.kubernetes.allocation.batch.size: "50"
  hadoopConf:
    "fs.s3a.endpoint": "http://127.0.0.1:9000"
    "fs.s3a.access.key": "minio"
    "fs.s3a.secret.key": "minio123"
    "fs.s3a.path.style.access": "true"
    "fs.s3a.impl": "org.apache.hadoop.fs.s3a.S3AFileSystem"
  type: Scala
  sparkVersion: 2.4.5
  mode: cluster
  image: docker.xuanyuan.run/minio/spark:v2.4.5-hadoop-3.1
  imagePullPolicy: Always
  restartPolicy:
      type: OnFailure
      onFailureRetries: 3
      onFailureRetryInterval: 10
      onSubmissionFailureRetries: 5
      onSubmissionFailureRetryInterval: 20

  mainClass: org.apache.spark.examples.JavaWordCount
  mainApplicationFile: "local:///opt/spark/examples/target/original-spark-examples_2.11-2.4.6-SNAPSHOT.jar"
  arguments:
  - "s3a://mytestbucket/mydata"
  driver:
    cores: 1
    coreLimit: "1000m"
    memory: "512m"
    labels:
      version: 2.4.5
    sidecars:
    - name: minio-lb
      image: "docker.xuanyuan.run/minio/sidekick:v0.5.8"
      imagePullPolicy: Always
      args: ["--health-path", "/minio/health/ready", "--address", ":9000", "http://minio-distributed-{0...3}.minio-distributed-svc.spark-operator.svc.cluster.local:9000"]
      ports:
        - containerPort: 9000

  executor:
    cores: 1
    instances: 4
    memory: "512m"
    labels:
      version: 2.4.5
    sidecars:
    - name: minio-lb
      image: "docker.xuanyuan.run/minio/sidekick:v0.5.8"
      imagePullPolicy: Always
      args: ["--health-path", "/minio/health/ready", "--address", ":9000", "http://minio-distributed-{0...3}.minio-distributed-svc.spark-operator.svc.cluster.local:9000"]
      ports:
        - containerPort: 9000

提交作业并查看日志:

bash
kubectl create -f spark-job.yaml
kubectl logs -f --namespace spark-operator spark-minio-app-driver spark-kubernetes-driver

高性能S3缓存配置

sidekick支持配置S3兼容对象存储作为共享缓存,提升热点数据访问性能。缓存通过环境变量配置,适用于需要共享缓存的分布式应用场景。

缓存配置环境变量

环境变量描述示例值
SIDEKICK_CACHE_ENDPOINTS3兼容对象存储端点[] 或 []
SIDEKICK_CACHE_ACCESS_KEY访问密钥minio
SIDEKICK_CACHE_SECRET_KEY密钥minio123
SIDEKICK_CACHE_BUCKET缓存存储桶名称cache01
SIDEKICK_CACHE_MIN_SIZE缓存最小对象大小32MiB(支持单位:B, KiB, MiB, GiB等)
SIDEKICK_CACHE_HEALTH_DURATION缓存健康检查间隔(秒)20

K8s中配置S3缓存的Spark作业示例

yaml
# 部分配置(完整配置参考上文Spark作业示例,仅展示sidecar部分差异)
sidecars:
- name: minio-lb
  image: "docker.xuanyuan.run/minio/sidekick:v0.5.8"
  imagePullPolicy: Always
  args: ["--health-path", "/minio/health/ready", "--address", ":9000", "http://minio-distributed-{0...3}.minio-distributed-svc.spark-operator.svc.cluster.local:9000"]
  env:
   - name: SIDEKICK_CACHE_ENDPOINT
     value: "https://minio-remote:9000"
   - name: SIDEKICK_CACHE_ACCESS_KEY
     value: "minio"
   - name: SIDEKICK_CACHE_SECRET_KEY
     value: "minio123"
   - name: SIDEKICK_CACHE_BUCKET
     value: "cache01"
   - name: SIDEKICK_CACHE_MIN_SIZE
     value: "32MiB"
   - name: SIDEKICK_CACHE_HEALTH_DURATION
     value: "20"
  ports:
    - containerPort: 9000

S3缓存特性

  • 零内存开销:GET请求同时流式传输到应用和S3缓存,无需额外内存缓存
  • 缓存验证:已缓存对象通过ETag和LastModified验证新鲜度,支持Cache-Control头策略
  • 部分请求处理:不缓存带Range头的GET请求,保持代码简洁高效
  • 健康检查:定期检查缓存存储桶可用性,确保缓存层可靠性
  • RFC 7234兼容:遵循HTTP缓存规范,支持标准缓存控制策略

镜像拉取方式

您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。

轩辕镜像加速拉取命令点我查看更多 sidekick 镜像标签

docker pull docker.xuanyuan.run/minio/sidekick:<标签>

DockerHub 原生拉取命令

docker pull minio/sidekick:<标签>
专业版 · 高速稳定拉取镜像
50GB 仅 ¥8/年
高速镜像下载在线技术支持专业版保障服务可用付费会员免广告