ucalgary/ps-stream

将PeopleSoft同步消息处理为Kafka主题

ps-stream是一个Python工具，用于收集和解析由同步及全量同步服务生成的http://docs.oracle.com/cd/E66686_01/pt855pbr1/eng/pt/tibr/concept_PeopleSoftRowset-BasedMessageFormat-0764fb.html，并将其转换为Kafka消息和主题。PeopleSoft同步流程通常用于应用间数据同步，也可作为外部化PeopleSoft对象流以构建流式数据管道的方式。

核心功能

ps-stream包含两个主要命令：

• collect：通过HTTP/HTTPS接收PeopleSoft行集式消息，为每条事务生成Kafka消息并存储到一个或多个Kafka主题中。
• parse：消费collect存储的事务消息，生成具有KTable语义的Kafka消息，每条记录以事务消息的主键或标识符为键进行组织。

使用场景

• PeopleSoft应用间数据同步的外部化流处理
• 构建包含PeopleSoft对象的流式数据管道
• 实时分析PeopleSoft同步数据

部署示例

运行ps-stream容器（收集消息）

bash
docker run -p 8000:8000 -d docker.xuanyuan.run/ucalgary/ps-stream collect

测试体验

可通过Play with Docker快速部署ps-stream（社区运营的Docker playground），点击以下按钮：

启动演示后，尝试向8000端口的收集器POST一条PeopleSoft行集式消息，然后通过8001端口的kafka-topics-ui查看Kafka主题中的消息。

维护信息

此仓库和镜像目前由卡尔加里大学Research Management Systems项目维护。