d2cio/patroni

Patroni：基于ZooKeeper、etcd或Consul的PostgreSQL高可用模板

镜像概述和主要用途

Patroni是一个用于创建定制化PostgreSQL高可用（HA）解决方案的模板，采用Python开发，并结合分布式配置存储（如ZooKeeper、etcd、Consul或Kubernetes）实现高可用性。它源自Compose的Governor项目分支，包含更多新功能，适用于数据库工程师、DBA、DevOps工程师和SRE在数据中心或其他环境中快速部署HA PostgreSQL。

Kubernetes用户注意：Patroni可原生运行在Kubernetes上，详见https://github.com/zalando/patroni/blob/master/docs/kubernetes.rst%E3%80%82

核心功能和特性

• 多分布式配置存储支持：兼容ZooKeeper、etcd、Consul、Kubernetes等多种分布式配置存储（DCS）
• 灵活的复制模式：基于PostgreSQL流复制，支持异步复制（可配置maximum_lag_on_failover）和同步复制
• 定制化配置：通过YAML文件和环境变量进行详细配置，满足不同业务需求
• 高可用代理集成：提供HAProxy配置，为应用提供单一连接端点
• 活跃开发社区：持续开发并接受贡献，定期发布新版本

使用场景和适用范围

• 数据中心或云环境中部署PostgreSQL高可用集群
• 需要快速搭建HA PostgreSQL的开发、测试或生产环境
• 对PostgreSQL高可用方案有定制化需求的场景
• Kubernetes环境中的PostgreSQL集群管理

技术要求/安装

预要求（Mac OS）

bash
brew install postgresql etcd haproxy libyaml python

Psycopg2安装

自psycopg2-2.8起，默认不再安装二进制版本，需手动选择安装方式：

1. 通过系统包管理器：

   bash
   # Debian/Ubuntu (Python 2)
   sudo apt-get install python-psycopg2
   # Debian/Ubuntu (Python 3)
   sudo apt-get install python3-psycopg2
   # RedHat/Fedora/CentOS (Python 2)
   sudo yum install python-psycopg2
   

2. 安装二进制包：

   bash
   pip install psycopg2-binary
   

3. 从源码安装：

   bash
   pip install psycopg2>=2.5.4
   

通用pip安装

使用pip安装Patroni及所需依赖：

bash
pip install patroni[dependencies]

其中dependencies可包含以下一项或多项：

• etcd：使用etcd作为DCS时需安装python-etcd模块
• consul：使用Consul作为DCS时需安装python-consul模块
• zookeeper：使用ZooKeeper作为DCS时需安装kazoo模块
• exhibitor：使用Exhibitor作为DCS时需安装kazoo模块（与ZooKeeper依赖相同）
• kubernetes：使用Kubernetes作为DCS时需安装kubernetes模块
• aws：使用AWS回调时需安装boto模块

示例：安装Patroni及etcd和AWS依赖

bash
pip install patroni[etcd,aws]

注意：外部工具（如WAL-E）需独立安装。

运行和配置

快速启动步骤

1. 启动分布式配置存储（以etcd为例）：

   bash
   etcd --data-dir=data/etcd
   

2. 启动Patroni节点（不同终端运行）：

   bash
   ./patroni.py postgres0.yml
   ./patroni.py postgres1.yml
   

3. 配置HAProxy（提供单一连接端点）：

   bash
   haproxy -f haproxy.cfg
   

4. 连接到集群：

   bash
   psql --host 127.0.0.1 --port 5000 postgres
   

YAML配置

完整配置说明见https://github.com/zalando/patroni/blob/master/docs/SETTINGS.rst%EF%BC%8C%E9%85%8D%E7%BD%AE%E7%A4%BA%E4%BE%8B%E5%8F%AF%E5%8F%82%E8%80%83https://github.com/zalando/patroni/blob/master/postgres0.yml%E3%80%82

环境配置

通过环境变量覆盖配置的详细说明见https://github.com/zalando/patroni/blob/master/docs/ENVIRONMENT.rst%E3%80%82

复制模式选择

Patroni默认使用PostgreSQL异步流复制，可通过maximum_lag_on_failover设置控制故障转移时的最大延迟（字节数）。也支持同步复制以提供更强的数据持久性，详见https://github.com/zalando/patroni/blob/master/docs/replication_modes.rst%E3%80%82

应用连接建议

应用连接时应使用非超级用户。Patroni需要数据库访问权限以正常运行，若应用使用超级用户可能耗尽连接池（包括superuser_reserved_connections预留的连接），导致Patroni无法访问主库，引发异常行为。