Twemproxy (nut***er) Docker镜像文档

镜像概述和主要用途

Twemproxy（别名nut***er）是一款轻量级高性能代理服务，专为memcached和Redis协议设计。作为中间层代理，它能够集中管理客户端与后端缓存服务器的连接，优化请求转发流程，从而提升分布式缓存集群的可用性、可扩展性和资源利用率。其核心价值在于简化缓存服务架构、降低客户端连接开销，并为后端缓存实例提供负载均衡与故障转移能力。

核心功能和特性

协议支持

• 原生支持memcached ASCII协议与Redis协议，兼容主流缓存服务客户端。

轻量级设计

• 基于C语言开发，内存占用低（通常<10MB），CPU资源消耗少，适合资源受限环境部署。

高性能转发

• 采用非阻塞I/O模型，请求转发延迟低，单机可处理数万并发连接。

连接池管理

• 集中维护与后端缓存服务器的长连接，减少TCP连接建立/销毁开销，降低后端服务器连接压力。

负载均衡

• 支持多种哈希算法（如md5、crc32、fnv1a等），可将客户端请求均匀分发至后端多实例，避免单点过载。

故障转移

• 自动检测后端服务器健康状态，临时屏蔽不可用节点（超时无响应或连接失败），待节点恢复后自动重新纳入集群。

配置灵活

• 通过JSON格式配置文件定义缓存集群，支持动态调整后端服务器列表（需重启生效），配置逻辑清晰易懂。

使用场景和适用范围

典型使用场景

• 高并发Web应用：降低客户端与缓存服务器的直接连接数（尤其适用于PHP等短连接场景），减少TCP握手开销。
• Redis/memcached集群扩展：当缓存服务需从单实例扩展为多实例时，通过Twemproxy提供统一访问入口，避免客户端修改集群配置。
• 缓存服务高可用保障：在后端缓存节点故障时自动隔离异常实例，确保业务请求不直接失败。
• 多区域缓存协同：跨机房/区域部署缓存实例时，通过Twemproxy统一入口，简化跨区域请求路由。

适用范围

• 需部署memcached或Redis集群的分布式系统。
• 客户端连接数过高导致后端缓存服务器性能瓶颈的场景。
• 对缓存服务可用性要求高、需故障自动恢复的业务。
• 资源受限（如边缘计算节点）需轻量级代理的环境。

使用方法和配置说明

前提条件

• Docker Engine 19.03+
• 后端memcached/Redis服务已部署并可访问

获取镜像

从Docker Hub拉取***或社区维护的Twemproxy镜像（以twemproxy为例）：

bash
docker pull twemproxy:latest

如需本地构建，可基于***Dockerfile构建（需确保Dockerfile中包含Twemproxy编译依赖与配置文件路径定义）。

基本使用（docker run）

1. 准备配置文件

Twemproxy依赖JSON格式配置文件定义后端集群，示例nut***er.json：

json
{
  "my_memcached_cluster": {
    "listen": "0.0.0.0:***",  // Twemproxy监听地址与端口
    "hash": "fnv1a_64",        // 哈希算法（可选：md5、crc32、fnv1a等）
    "distribution": "ketama",  // 分发策略（ketama一致性哈希或modula取模）
    "timeout": 200,            // 后端连接超时时间（ms）
    "backlog": 1024,           // 未处理连接队列大小
    "preconnect": true,        // 启动时预连接后端服务器
    "servers": [               // 后端memcached服务器列表（格式："IP:端口:权重"）
      "192.168.1.10:***:1",
      "192.168.1.11:***:1"
    ]
  },
  "my_redis_cluster": {
    "listen": "0.0.0.0:6379",
    "hash": "crc32",
    "distribution": "modula",
    "timeout": 300,
    "redis": true,             // 启用Redis协议支持（默认false，对应memcached）
    "servers": [
      "192.168.1.20:6379:1",
      "192.168.1.21:6379:1"
    ]
  }
}

2. 启动容器

挂载配置文件并映射监听端口：

bash
docker run -d \
  --name twemproxy \
  -p ***:***  \  # memcached集群端口映射
  -p 6379:6379    \  # Redis集群端口映射
  -v /path/to/nut***er.json:/etc/nut***er/nut***er.json:ro  \  # 挂载配置文件（只读）
  twemproxy:latest \
  nut***er -c /etc/nut***er/nut***er.json  # 指定配置文件路径启动

3. 验证运行状态

bash
# 查看容器日志
docker logs twemproxy

# 测试连接（以memcached集群为例，使用telnet或memcached客户端）
telnet localhost ***
stats  # 若返回Twemproxy状态信息，说明启动成功

Docker Compose部署

创建docker-compose.yml，定义Twemproxy服务与后端缓存集群（示例包含2个Redis实例）：

yaml
version: '3.8'

services:
  twemproxy:
    image: twemproxy:latest
    container_name: twemproxy
    ports:
      - "6379:6379"  # Twemproxy监听端口（对应Redis集群）
    volumes:
      - ./nut***er.json:/etc/nut***er/nut***er.json:ro
    command: nut***er -c /etc/nut***er/nut***er.json -v 5  # -v 5开启详细日志
    depends_on:
      - redis-1
      - redis-2
    restart: unless-stopped

  # 后端Redis实例（示例）
  redis-1:
    image: redis:alpine
    container_name: redis-1
    ports:
      - "6380:6379"
    volumes:
      - redis-data-1:/data
    restart: unless-stopped

  redis-2:
    image: redis:alpine
    container_name: redis-2
    ports:
      - "6381:6379"
    volumes:
      - redis-data-2:/data
    restart: unless-stopped

volumes:
  redis-data-1:
  redis-data-2:

启动服务：

bash
docker-compose up -d

配置参数详解

核心配置参数（配置文件）

Twemproxy配置文件为JSON格式，每个顶级键对应一个缓存集群，集群内参数说明如下：

环境变量（可选）

部分Twemproxy Docker镜像支持通过环境变量调整运行参数（具体以镜像维护者定义为准）：

• TWEMPROXY_CONFIG_PATH：配置文件路径（默认/etc/nut***er/nut***er.json）
• TWEMPROXY_LOG_LEVEL：日志级别（对应verbosity参数，0-5）
• TWEMPROXY_USER：运行Twemproxy的用户（默认root）

注意事项

1. 配置文件更新：修改配置文件后需重启Twemproxy容器使生效（不支持热重载）。
2. 后端服务器健康检查：Twemproxy通过连接超时判断节点状态，异常节点恢复后需等待超时周期（timeout）后自动重新接入。
3. 哈希算法选择：分布式环境推荐使用ketama一致性哈希，减少节点增减时的缓存命中率波动。
4. 安全配置：生产环境需限制Twemproxy监听地址（避免公网暴露），并为后端Redis实例启用认证（配置文件中通过redis_auth参数指定密码）。