geographica/glutemulo

Glutemulo

镜像概述

Glutemulo是一个高可用的地理社会演示数据摄入器，专注于地理相关演示数据的处理与流转。它支持通过Kafka消息队列实现数据的生产与消费，并可对接Postgres或Carto作为数据存储后端，具备灵活的配置与横向扩展能力。

核心功能

1. Kafka数据交互：支持JSON和Avro两种格式的Kafka消息生产与消费；
2. 多后端支持：可选择Postgres或Carto作为数据存储后端；
3. 环境变量配置：通过环境变量灵活设置后端类型、Kafka连接参数、数据存储表等；
4. 高可用部署：支持Docker Compose横向扩展，实现高可用服务；
5. 演示与测试：提供Flask演示服务及多种测试工具（如KafkaCat）的使用示例。

使用场景

1. 地理演示数据的批量摄入与存储；
2. Kafka消息队列的数据流转测试；
3. 多后端存储的数据同步验证；
4. 高可用数据摄入服务的搭建与性能测试。

配置说明

需通过环境变量配置核心参数，关键变量包括：

• GLUTEMULO_BACKEND：指定存储后端（postgres/carto）；
• GLUTEMULO_INGESTOR_TOPIC：Kafka消费主题；
• GLUTEMULO_INGESTOR_BOOTSTRAP_SERVERS：Kafka服务器列表；
• GLUTEMULO_INGESTOR_DATASET：目标存储表名；
• 更多参数可参考项目中的.env.example文件。

部署示例

Docker Compose部署

yaml
# 参考项目docker-compose.yml
version: '3'
services:
  gluto:
    image: geographica/glutemulo
    environment:
      - GLUTEMULO_BACKEND=postgres
      - GLUTEMULO_INGESTOR_TOPIC=geo-data-topic
      - GLUTEMULO_INGESTOR_BOOTSTRAP_SERVERS=kafka:9092
    depends_on:
      - kafka

横向扩展

bash
docker-compose scale gluto=3

快速测试

运行Flask演示服务

bash
FLASK_ENV=development flask run

Kafka消息生产（JSON格式）

python
from glutemulo.kafka.producer import JsonKafka
producer = JsonKafka(bootstrap_servers="localhost:9092")
future = producer.produce('simple-topic', dict(dos='BB'))

Kafka消息消费（Avro格式）

python
SCHEMA = {
    "type": "record",
    "name": "simpledata",
    "fields": [{"name": "name", "type": "string"}, {"name": "number1", "type": "int"}]
}
SCHEMA_ID = 1

from glutemulo.kafka.consumer import AvroKafka as Consumer
consumer = Consumer('simple-topic-avro', SCHEMA, SCHEMA_ID, bootstrap_servers="localhost:9092")
for messages in consumer.consume():
    for msg in messages:
        print(msg)

工具测试

使用KafkaCat消费消息

bash
kafkacat -b localhost:9092 -t geo-data-topic

发送文件内容到Kafka

bash
cat README.md | kafkacat -b localhost:9092 -t geo-data-topic

相关链接

• Zoonavigator：http://localhost:8004（连接字符串用zoo1）
• Schema Registry UI：http://localhost:8001
• Kafka Topics UI：http://localhost:8000
• Kafka Rest Proxy：http://localhost:8082