ghcr.io/hatchet-dev/hatchet/hatchet-migrate:v0.86.25

用于后台任务、AI代理和持久化工作流的编排引擎

Hatchet Cloud · 文档 · 网站 · 问题

什么是 Hatchet？

Hatchet 是一个用于大规模编排后台任务、AI代理和持久化工作流的平台。它支持使用 Python、TypeScript、Go 和 Ruby 编写的应用程序，可通过 Hatchet Cloud 作为服务使用，或通过 自托管 部署。Hatchet 提供完整的平台功能，包括任务队列、自动重试、持久化、实时监控、告警和日志记录。

快速开始

开始使用 Hatchet 最快的方式是注册 Hatchet Cloud 进行试用！即使您计划自托管，我们也建议先尝试云服务，以便了解完整部署的 Hatchet 平台是什么样的。

要在本地运行 Hatchet，最快的设置路径是安装 Hatchet CLI（适用于 MacOS、Linux 或 WSL）—— 注意这需要本地安装 Docker：

curl -fsSL https://install.hatchet.run/install.sh | bash
hatchet --version
hatchet server start

有关自托管和云服务的完整文档，请查看 文档。

何时应使用 Hatchet？

您可以使用 Hatchet 运行后台任务、AI代理或其他类型的长时间运行的工作流。它设计为功能完备的解决方案，适用于正确性、可靠性、水平可扩展性和可观测性至关重要的系统。从技术角度来看，它与其他解决方案的不同之处在于使用 Postgres 作为任务运行时和可观测性系统的持久化层，因此特别易于自托管。

有关使用 Hatchet 构建工作流的端到端示例，请查看我们的 食谱。

Hatchet 功能

后台任务

• 后台任务：Hatchet 支持将简单函数定义为一次性后台任务。支持“即发即弃”和“即发即等”任务，并带有订阅机制
• 重试：灵活且可配置的任务重试策略，可选 指数退避
• 定时任务 和 计划运行，用于在未来某个时间点调度任务
• 任务路由 基于严格条件（如工作节点标签）或更复杂的加权调度规则（使用工作节点亲和性）
• 基于事件的触发 和 监听器，用于构建事件驱动的高度分布式系统
• 基于 Webhook 的触发，用于轻松从上游数据源触发 Hatchet 任务

任务编排和工作流

• 持久化任务：用于构建容错、长时间运行的工作流，可轻松从故障中恢复
• DAG（有向无环图）：用于构建数据管道和简单工作流。请参阅 我们的指南 了解如何在持久化任务和 DAG 之间选择
• 复杂的暂停/恢复条件，使用 持久化睡眠、事件等待 或两者的组合

扩展性

• 优先级：确保关键任务优先于对延迟不敏感的任务（如回填作业）运行
• 速率限制：用于处理第三方 API，甚至使用动态速率限制实施每用户速率限制
• 公平调度：使用 Hatchet 的并发策略，可基于动态键设置任务的并发限制
• 工作节点槽位：确保工作节点不会承担超出其处理能力的工作

监控、可观测性和管理

• 实时 Web UI，包含告警、监控和日志记录功能
• OpenTelemetry（使用 Hatchet 的内置收集器或外部目标）
• Prometheus 指标
• 默认支持多租户，因此单个 Hatchet 实例可支持多个团队
• 用户和角色管理

Hatchet Cloud 功能

• 自动扩缩容和按使用付费计划
• 多区域部署
• SSO（单点登录）
• 改进的监控、日志记录和可观测性性能

文档

最新文档可在 [***] 查看。

社区与支持

• *** - 最适合与维护者联系和社区交流
• https://github.com/hatchet-dev/hatchet/issues - 用于提交错误报告
• https://github.com/hatchet-dev/hatchet/discussions - 用于发起适合异步通信的深入技术讨论
• 电子邮件 - 最适合获取 Hatchet Cloud 支持以及账单、数据删除等问题的帮助

Hatchet 与其他工具的对比

Hatchet vs 持久化执行平台（Temporal、DBOS）

Hatchet 的 持久化任务 功能可直接替代 Temporal 或 DBOS 工作流。您还将获得：

• 使用 OpenTelemetry、监控和日志记录对持久化任务进行端到端可观测性
• 为大规模运行工作流构建的功能，如速率限制、复杂路由和工作节点级槽位控制
• 开箱即支持多租户、用户和角色

除了使持久化执行更易于使用外，Hatchet 还可用作通用队列、基于 DAG 的编排器、持久化执行引擎，或同时作为这三者，使团队能够在单一平台中集中其异步和后台处理。

Hatchet vs 任务队列（Celery、BullMQ）

像 BullMQ 和 Celery 这样的传统任务队列以牺牲持久性为代价换取吞吐量。任务在执行期间会持久化在 broker（通常是 Redis 或 RabbitMQ）中，但执行后不会持久化。这使得构建复杂工作流变得困难，因为没有持久化的中间状态。也难以恢复和重放已失败并从队列中移除的任务，导致在大规模使用这些库时需要自定义管理工具。

相比之下，Hatchet 是一个持久化任务队列，意味着它会持久化所有执行的历史记录（直至定义的保留期），从而支持轻松的监控、调试和持久化任务功能。Hatchet 的持久化功能会增加一些开销：虽然 Hatchet 已通过负载测试达到 10k 任务/秒，但它比基于 Redis 或 RabbitMQ 构建的系统消耗更多资源，后者可以达到更高的吞吐量。

Hatchet vs 基于 DAG 的平台（Airflow、Prefect、Dagster）

这些工具通常为数据工程师设计，并非为在高容量应用中运行而设计。它们通常具有更高的延迟和成本，其主要卖点是与常见数据存储和连接器的集成。

何时使用 Hatchet：当您希望使用基于 DAG 的框架、编写自己的集成和函数，并且需要更高的吞吐量（>100/秒）时

何时使用其他基于 DAG 的平台：当您希望使用开箱即用的其他数据存储和连接器时

问题反馈

请通过 GitHub Issues 提交您遇到的任何错误。

我想贡献代码

请在 *** 的 #contributing 频道中告诉我们您感兴趣的工作内容。这将帮助我们确定项目方向，并使协作更加容易！