pathwaycom/pathway

Pathway 镜像说明

镜像概述和主要用途

Pathway 是一个用于高吞吐量和低延迟实时数据处理的开放框架。它用于创建无缝结合批处理、流处理和LLM应用实时API的Python代码。Pathway的分布式运行时（🦀-🐍）能在接收新输入和请求时提供数据管道的最新结果。

可通过以下资源进一步了解：

• 官方网站
• https://github.com/pathwaycom%EF%BC%9A
  • https://github.com/pathwaycom/pathway%EF%BC%9A%E5%AE%9E%E6%97%B6%E6%95%B0%E6%8D%AE%E5%A4%84%E7%90%86%E6%95%88%E7%8E%87%E7%9A%84%E6%A0%B8%E5%BF%83
  • https://github.com/pathwaycom/pathway/tree/main/examples%EF%BC%9APathway%E9%80%82%E5%BA%94%E6%80%A7%E7%9A%84%E5%AE%9E%E9%99%85%E6%BC%94%E7%A4%BA
  • https://github.com/pathwaycom/pathway-benchmarks%EF%BC%9A%E5%B1%95%E7%A4%BA%E9%80%9F%E5%BA%A6%E5%92%8C%E5%8F%AF%E9%9D%A0%E6%80%A7%E7%9A%84%E6%80%A7%E8%83%BD%E6%8C%87%E6%A0%87

核心功能和特性

• 实时数据处理：支持高吞吐量、低延迟的数据处理
• 多模式处理：无缝结合批处理、流处理和实时API
• 分布式运行时：高效处理新输入和请求，提供最新结果
• Python友好：使用Python代码构建数据处理管道

使用场景和适用范围

• 需要实时处理高吞吐量数据流的应用
• LLM应用的实时API构建
• 批处理与流处理结合的混合数据处理场景
• 对数据处理延迟有严格要求的系统

使用方法和配置说明

镜像变体

目前提供两种镜像类型，可根据需求选择：

• pathway:<version>-slim
  仅包含Pathway包及其必要依赖

• pathway:<version> 或 pathway:latest
  包含运行Pathway所需的所有依赖以及索引器示例

在Python项目中创建Dockerfile

dockerfile
FROM pathwaycom/pathway:latest

WORKDIR /app

COPY requirements.txt ./
RUN pip install --no-cache-dir -r requirements.txt

COPY . .

CMD [ "python", "./your-script.py" ]

构建并运行Docker镜像：

console
docker build -t my-pathway-app .
docker run -it --rm --name my-pathway-app my-pathway-app

运行单个Python脚本

对于单文件项目，无需创建完整Dockerfile，可直接执行Python脚本：

console
docker run -it --rm --name my-pathway-app -v "$PWD":/app pathwaycom/pathway:latest python my-pathway-app.py

许可证

Pathway采用BSL 1.1许可证，允许无限制非商业使用，以及大多数商业用途免费使用。本仓库代码在4年后自动转换为开源（Apache 2.0许可证）。部分补充性公共仓库（示例、库、连接器等）采用MIT开源许可证。