jaegertracing/jaeger-remote-storage

Remote Storage Proxy Docker镜像文档

镜像概述与主要用途

Remote Storage Proxy 是一个轻量级的Docker镜像，提供远程存储代理服务。该镜像作为客户端与各类远程存储服务（如S3兼容对象存储、FTP服务器、WebDAV服务等）之间的中间层，实现请求转发、协议转换、缓存加速及访问控制等功能，旨在简化多存储系统整合、优化远程存储访问性能，并提供统一的存储访问接口。

核心功能与特性

• 多协议支持：兼容主流远程存储协议，包括S3 API、FTP/FTPS、WebDAV、NFS等，支持无缝对接不同类型的存储服务。
• 智能缓存：内置缓存机制，可缓存频繁访问的文件数据，减少远程存储请求次数，提升访问速度。
• 访问控制：支持基于IP、用户角色或API密钥的访问权限控制，可与企业认证系统（如LDAP、OAuth2）集成。
• 协议转换：将客户端请求协议（如HTTP）转换为远程存储原生协议（如S3），实现统一接口访问不同存储服务。
• 请求转发与过滤：支持请求路由、超时控制、大小限制等，可过滤非法请求或优化请求参数。
• 监控与日志：提供访问日志记录及基础监控指标（如请求量、缓存命中率），支持日志导出与外部监控系统对接。

使用场景与适用范围

企业存储整合

统一企业内部多类型存储服务（如S3、FTP、本地文件系统）的访问接口，简化业务系统存储适配。

远程存储加速

通过本地缓存减少对远程存储的直接请求，提升跨国/跨区域存储服务的访问速度（如加速访问AWS S3海外桶）。

安全访问代理

作为存储服务的前置网关，实现访问鉴权、数据脱敏及操作审计，避免客户端直接暴露远程存储凭证。

开发测试环境

模拟各类远程存储服务接口，无需搭建真实存储环境即可进行业务系统开发测试。

存储容灾与备份

作为多存储服务的转发层，实现数据跨存储自动同步或备份，提升数据可靠性。

使用方法与配置说明

获取镜像

通过Docker Hub或私有仓库拉取镜像：

bash
docker pull remotestorageproxy:latest

基本运行命令

启动一个基础代理服务（需通过环境变量或配置文件指定远程存储信息）：

bash
docker run -d \
  --name remote-storage-proxy \
  -p 8080:8080 \
  -e REMOTE_TYPE=s3 \
  -e REMOTE_URL=https://s3.example.com \
  -e REMOTE_ACCESS_KEY=AKIAEXAMPLE \
  -e REMOTE_SECRET_KEY=secret \
  remotestorageproxy:latest

配置方式

支持两种配置方式，可单独使用或组合：

环境变量配置

通过-e参数传入环境变量，适合简单配置场景。

配置文件挂载

通过挂载本地配置文件（如config.yaml）实现复杂配置，支持多远程存储代理、细粒度缓存策略等。配置文件路径默认为/app/config.yaml，可通过CONFIG_PATH环境变量自定义。

持久化数据

为避免容器重启后缓存数据或配置丢失，需挂载本地目录至容器内关键路径：

• 缓存数据：默认路径/app/cache，通过-v /local/cache:/app/cache挂载
• 配置文件：若使用本地配置文件，通过-v /local/config.yaml:/app/config.yaml挂载
• 日志文件：默认路径/app/logs，通过-v /local/logs:/app/logs挂载

访问代理服务

服务启动后，通过容器映射端口（默认8080）访问代理接口，接口路径与远程存储协议兼容。例如：

• 访问S3代理：http://localhost:8080/bucket/object.txt（对应远程S3桶bucket下的object.txt）
• 访问FTP代理：http://localhost:8080/ftp/path/file.txt（对应远程FTP服务器path/file.txt）

Docker部署方案示例

docker run命令示例

代理S3兼容存储

bash
docker run -d \
  --name s3-proxy \
  -p 8080:8080 \
  -e REMOTE_TYPE=s3 \
  -e REMOTE_URL=https://s3.region.amazonaws.com \
  -e REMOTE_ACCESS_KEY=AKIAEXAMPLE \
  -e REMOTE_SECRET_KEY=example-secret \
  -e CACHE_ENABLED=true \
  -e CACHE_SIZE=10GB \
  -v /local/cache:/app/cache \
  remotestorageproxy:latest

代理FTP存储

bash
docker run -d \
  --name ftp-proxy \
  -p 8081:8080 \
  -e REMOTE_TYPE=ftp \
  -e REMOTE_URL=ftp://ftp.example.com \
  -e REMOTE_USER=ftpuser \
  -e REMOTE_PASSWORD=ftppass \
  -e PORT=8081 \  # 自定义服务端口
  remotestorageproxy:latest

Docker Compose配置示例

创建docker-compose.yml，配置多服务代理及持久化：

yaml
version: '3.8'

services:
  storage-proxy:
    image: remotestorageproxy:latest
    container_name: storage-proxy
    ports:
      - "8080:8080"
    environment:
      - REMOTE_TYPE=s3
      - REMOTE_URL=https://s3.example.com
      - REMOTE_ACCESS_KEY=AKIAEXAMPLE
      - REMOTE_SECRET_KEY=secret
      - CACHE_ENABLED=true
      - CACHE_PATH=/app/cache
      - LOG_LEVEL=info
    volumes:
      - ./config.yaml:/app/config.yaml  # 挂载自定义配置文件（若需）
      - ./cache:/app/cache              # 持久化缓存
      - ./logs:/app/logs                # 持久化日志
    restart: unless-stopped

配置参数说明

环境变量参数

配置文件参数（可选）

若使用配置文件（如config.yaml），支持更复杂的配置（示例为S3代理+缓存+访问控制）：

yaml
remote:
  type: s3
  url: https://s3.example.com
  access_key: AKIAEXAMPLE
  secret_key: secret
  timeout: 30s  # 远程请求超时时间

cache:
  enabled: true
  path: /app/cache
  max_size: 10GB
  ttl: 24h  # 缓存过期时间

server:
  port: 8080
  read_timeout: 60s
  write_timeout: 60s

access_control:
  allowed_ips:
    - 192.168.1.0/24
    - 10.0.0.1
  denied_operations:  # 禁止的操作（如删除）
    - delete

注意事项

1. 权限配置：确保远程存储服务的访问凭证（如Access Key）具备足够权限（读/写/列出等），避免因权限不足导致代理失败。
2. 缓存清理：若启用缓存，需定期清理过期数据（可通过CACHE_TTL自动清理或外部定时任务）。
3. 网络配置：容器需能访问远程存储服务（检查防火墙、网络代理设置），客户端需能访问容器映射端口。
4. 版本兼容性：不同镜像版本可能存在配置参数差异，建议指定具体版本号（如remotestorageproxy:1.0.0）而非latest。