快速开始 | 文档 | *** | 网站
Arroyo 是一个用 Rust 编写的分布式流处理引擎,旨在高效地对数据流执行有状态计算。与传统批处理不同,流处理引擎可以处理有界和无界数据源,并在结果可用时立即输出。
简而言之:Arroyo 允许您对高容量实时数据提出复杂问题,并获得亚秒级结果。
🦀 SQL 流处理管道
🚀 可扩展至每秒数百万事件
🪟 有状态操作,包括窗口和连接
🔥 状态检查点,用于管道的容错和恢复
🕒 通过 Dataflow 模型 实现面向时间的流处理
🔌 多种 连接器,包括 Kafka 和 Iceberg
一些示例用例包括:
目前已经存在许多流处理引擎,包括 Apache Flink、Spark Streaming 和 Kafka Streams。为什么要创建一个新的引擎?
Arroyo 以单个二进制文件形式提供。您可以使用 Homebrew 在 macOS 本地安装
brew install arroyosystems/tap/arroyo
或者在 macOS 或 Linux 上使用以下脚本:
curl -LsSf https://arroyo.dev/install.sh | sh
或者您可以从 https://github.com/ArroyoSystems/arroyo/releases 下载适用于您平台的二进制文件。
安装 Arroyo 后,使用以下命令启动集群
$ arroyo cluster
您也可以在 Docker 中运行集群,命令如下
docker run -p 5115:5115 \
ghcr.io/arroyosystems/arroyo:latest
然后,在 http://localhost:5115 加载 Web UI。
如需更深入的指南,请参阅 快速开始指南。
Arroyo 运行后,请按照 教程 创建您的第一个实时管道。
如果您不想自托管,Arroyo 可作为 Cloudflare 开发者平台上的完全托管解决方案:Cloudflare Pipelines,目前处于测试阶段。目前支持摄入 R2 的无状态管道,我们将在不久的将来扩展到有状态管道。
我们欢迎社区贡献!请参阅 开发者设置 指南开始,或通过 *** 联系团队,或创建 issue。
探索更多轩辕镜像的使用方法,找到最适合您系统的配置方式
通过 Docker 登录认证访问私有仓库
无需登录使用专属域名
Kubernetes 集群配置 Containerd
K3s 轻量级 Kubernetes 镜像加速
VS Code Dev Containers 配置
Podman 容器引擎配置
HPC 科学计算容器配置
ghcr、Quay、nvcr 等镜像仓库
Harbor Proxy Repository 对接专属域名
Portainer Registries 加速拉取
Nexus3 Docker Proxy 内网缓存
需要其他帮助?请查看我们的 常见问题Docker 镜像访问常见问题解答 或 提交工单
docker search 限制
站内搜不到镜像
离线 save/load
插件要用 plugin install
WSL 拉取慢
安全与 digest
新手拉取配置
镜像合规机制
不支持 push
manifest unknown
no matching manifest(架构)
invalid tar header(解压)
TLS 证书失败
DNS 超时
域名连通性排查
410 Gone 排查
402 与流量用尽
401 认证失败
429 限流
D-Bus 凭证提示
413 与超大单层
来自真实用户的反馈,见证轩辕镜像的优质服务