terascope/teraslice

Teraslice - 高效处理Elasticsearch数据的分布式计算平台

Teraslice是一个开源的分布式计算平台，专为处理Elasticsearch中存储的JSON数据而设计。它适用于多种数据处理任务，尤其擅长Elasticsearch集群内部及跨集群的数据迁移与转换。该平台诞生于日均处理数十亿数据的环境，能够实现每秒数百万条记录的处理吞吐量。

核心功能与特性

• 分布式处理：通过将数据切片并在多个工作节点上并发执行，实现高效数据处理
• 高吞吐量：支持每秒处理数百万条记录，满足大规模数据处理需求
• 灵活的作业定义：通过JSON文档定义数据处理管道，包含一系列操作步骤
• 数据切片机制：基于日期字段对数据进行切片，支持并发处理
• 可扩展操作：支持自定义JavaScript模块作为操作步骤，满足特定业务需求
• 多数据源支持：不仅限于Elasticsearch，可通过连接器扩展至其他数据存储系统

使用场景

• 大规模数据重新索引
• 跨Elasticsearch集群数据迁移
• Elasticsearch数据导出至其他系统
• Elasticsearch数据与其他系统的自动同步
• 数据文件导出与导入
• 索引数据的定期处理

系统要求

• Node.js 8或更高版本
• Yarn（仅开发环境需要）
• 至少一个Elasticsearch 5或更高版本的集群

安装方法

sh
# 全局安装Teraslice
npm install --global teraslice
# 或使用yarn: yarn global add teraslice

# 安装Teraslice CLI客户端
npm install --global teraslice-cli
# 或使用yarn: yarn global add teraslice-cli

# 添加额外连接器（如Kafka）
# npm install --global terascope/terafoundation_kafka_connector

配置说明

单节点/集群主节点配置

Teraslice需要配置文件来运行，定义服务连接和系统级配置。以下示例配置定义了一个连接到本地Elasticsearch的单节点，提供8个工作进程。

yaml
teraslice:
    workers: 8          # 可用工作进程数
    master: true        # 设为true表示为主节点
    master_hostname: "127.0.0.1"  # 主节点主机名
    name: "teracluster"  # 集群名称

terafoundation:
    environment: 'development'  # 环境标识
    log_path: '/path/to/logs'   # 日志路径

    connectors:
        elasticsearch:
            default:
                host:
                    - "localhost:9200"  # Elasticsearch地址

集群工作节点配置

工作节点配置与主节点类似，只需将master设为false并指定主节点IP。

yaml
teraslice:
    workers: 8
    master: false       # 设为false表示为工作节点
    master_hostname: "YOUR_MASTER_IP"  # 主节点IP地址
    name: "teracluster"

terafoundation:
    environment: 'development'
    log_path: '/path/to/logs'

    connectors:
        elasticsearch:
            default:
                host:
                    - "YOUR_MASTER_IP":9200  # 主节点Elasticsearch地址

运行方法

启动主节点

sh
teraslice -c master-config.yaml

启动工作节点

sh
teraslice -c worker-config.yaml

Docker部署

自定义Docker镜像

Dockerfile
# 使用官方镜像，可指定标签（https://hub.docker.com/r/terascope/teraslice/tags/）
FROM terascope/teraslice:latest

# 添加额外连接器
RUN yarn add terascope/terafoundation_kafka_connector

构建Docker镜像

sh
docker build -t custom-teraslice .

运行Docker镜像

sh
docker run -it --rm -v ./teraslice-master.yaml:/app/config/teraslice.yml custom-teraslice

作业定义示例

作业通过JSON文档定义，以下是一个简单的重新索引示例：

json
{
    "name": "Reindex",
    "lifecycle": "once",
    "workers": 1,
    "assets": ["elasticsearch"],
    "operations": [
        {
          "_op": "elasticsearch_reader",
          "index": "example-logs",
          "type": "logs",
          "size": 10000,
          "date_field_name": "created",
          "full_response": true
        },
        {
            "_op": "elasticsearch_index_selector",
            "type": "change",
            "index": "example-logs-new",
            "id_field": "_key"
        },
        {
          "_op": "elasticsearch_bulk",
          "size": 10000
        }
    ]
}

REST API

主节点在5678端口提供REST风格API。

提交作业

sh
# 使用curl
curl -XPOST "$YOUR_MASTER_IP:5678/v1/jobs" -d@job.json

# 使用teraslice-cli
tjm job register -c="$YOUR_MASTER_IP:5678/v1/jobs" ./job.json

返回结果示例：

json
{
    "job_id": "5a50580c-4a50-48d9-80f8-ac70a00f3dbd"
}

作业控制

查看作业状态

sh
# 使用curl
curl "$YOUR_MASTER_IP:5678/v1/jobs/${job_id}/ex"

# 使用teraslice-cli
tjm job status ./job.json

停止作业

sh
# 使用curl
curl -XPOST "$YOUR_MASTER_IP:5678/v1/jobs/${job_id}/_stop"

# 使用teraslice-cli
tjm job stop ./job.json

启动作业

sh
# 使用curl
curl -XPOST "$YOUR_MASTER_IP:5678/v1/jobs/${job_id}/_start"

# 使用teraslice-cli
tjm job start ./job.json

恢复作业（从失败切片继续）

sh
curl -XPOST "$YOUR_MASTER_IP:5678/v1/jobs/${job_id}/_recover"

暂停作业

sh
# 使用curl
curl -XPOST "$YOUR_MASTER_IP:5678/v1/jobs/${job_id}/_pause"

# 使用teraslice-cli
tjm job pause ./job.json

恢复暂停的作业

sh
# 使用curl
curl -XPOST "$YOUR_MASTER_IP:5678/v1/jobs/${job_id}/_resume"

# 使用teraslice-cli
tjm job resume ./job.json

查看作业切片统计信息

sh
curl "$YOUR_MASTER_IP:5678/v1/jobs/${job_id}/controller"

查看集群状态

sh
curl "$YOUR_MASTER_IP:5678/v1/cluster/state"

项目状态

Teraslice目前处于alpha状态。单节点部署和集群支持功能已可用但仍在完善中。API已可使用，但在正式发布前可能会有变化。

附加文档

• API参考：API端点详细说明
• 操作参考：作业配置和操作详细说明
• 自定义操作：如何开发自定义操作模块
• 配置参考：Teraslice配置详细说明
• Kubernetes集群：Kubernetes环境下的集群部署指南