dbt与Materialize的集成适配器。
有关如何使用dbt和Materialize的完整分步指南,请查看文档。
dbt-materialize可在PyPI上获取。要通过pip安装最新版本(可选使用虚拟环境),请运行:
nofmtpython3 -m venv dbt-venv # 创建虚拟环境 source dbt-venv/bin/activate # 激活虚拟环境 pip install dbt-core dbt-materialize # 安装dbt-core和适配器
dbt-materialize需要Materialize v0.68.0或更高版本。
要连接到Materialize实例,请在连接配置文件中使用参考配置文件配置:
ymldbt-materialize: target: dev outputs: dev: type: materialize threads: 1 host: [主机] port: [端口] user: [***] pass: [密码] dbname: [数据库] schema: [dbt模式] cluster: [集群] # 默认'quickstart' sslmode: require keepalives_idle: 0 # 默认0 retries: 1 # 打开连接时出错/超时默认重试1次 search_path: [可选,覆盖默认搜索路径]
完整的示例配置文件可在sample_profiles.yml中找到。
| 类型 | 是否支持 | 说明 |
|---|---|---|
source | 是 | 创建[源]。 |
view | 是 | 创建[视图]。 |
materializedview | 是 | (已废弃)创建[物化视图]。 |
materialized_view | 是 | 创建[物化视图]。为保持向后兼容性,支持旧版物化方式名称materializedview。 |
table | 是 | 创建[物化视图]。(实际表支持待#5266解决。) |
sink | 是 | 创建[接收器]。 |
ephemeral | 是 | 使用CTE执行查询。 |
incremental | 否 | 请改用materialized_view物化方式!dbt的增量模型仅处理新数据以节省资源,而这正是Materialize物化视图的设计目标,且无需手动刷新即可保持结果最新。更多信息见文档。 |
使用indexes选项可为source、view、table或materialized view物化方式定义索引列表。每个Materialize索引可包含以下组件:
| 组件 | 值类型 | 描述 |
|---|---|---|
columns | list | 索引定义的一个或多个列。若要创建使用所有列的索引,请改用default组件。 |
name | string | 索引名称。若未指定,Materialize将使用物化方式名称和提供的列名生成。 |
cluster | string | 创建索引的集群。若未指定,将使用创建物化方式时的集群。 |
default | bool | 默认:False。若设为True,将创建使用所有列的默认索引。 |
我们提供materialize-dbt-utils包,包含针对Materialize的dbt-utils分发宏的特定实现。要在dbt项目中使用此包,请查看dbt Hub上的最新安装说明。
支持。
支持。dbt中的自定义模式行为可能与预期不同,请务必阅读文档!
可使用自定义source物化方式指示dbt在Materialize中创建dbt源,该方式允许将完整的源语句注入.sql文件。
不支持source freshness(源新鲜度检查),因为Materialize中的源始终保持最新。
支持dbt docs以及--persist-docs。
支持dbt test。
若设置可选的--store-failures标志或store-failures配置,dbt将把测试查询结果保存到materialized_view。若要改用view,请使用store_failures_as配置。
这些对象默认创建在后缀为或命名为dbt_test__audit的模式中。可通过设置schema配置修改此值。若同时指定store_failures和store_failures_as,则store_failures_as优先。
不支持。近期暂无支持计划。
特别感谢Josh Wills,他创建了此适配器的原始版本。🤠
来自真实用户的反馈,见证轩辕镜像的优质服务
免费版仅支持 Docker Hub 加速,不承诺可用性和速度;专业版支持更多镜像源,保证可用性和稳定速度,提供优先客服响应。
免费版仅支持 docker.io;专业版支持 docker.io、gcr.io、ghcr.io、registry.k8s.io、nvcr.io、quay.io、mcr.microsoft.com、docker.elastic.co 等。
当返回 402 Payment Required 错误时,表示流量已耗尽,需要充值流量包以恢复服务。
通常由 Docker 版本过低导致,需要升级到 20.x 或更高版本以支持 V2 协议。
先检查 Docker 版本,版本过低则升级;版本正常则验证镜像信息是否正确。
使用 docker tag 命令为镜像打上新标签,去掉域名前缀,使镜像名称更简洁。
探索更多轩辕镜像的使用方法,找到最适合您系统的配置方式
通过 Docker 登录认证访问私有仓库
在 Linux 系统配置镜像加速服务
在 Docker Desktop 配置镜像加速
Docker Compose 项目配置加速
Kubernetes 集群配置 Containerd
在宝塔面板一键配置镜像加速
Synology 群晖 NAS 配置加速
飞牛 fnOS 系统配置镜像加速
极空间 NAS 系统配置加速服务
爱快 iKuai 路由系统配置加速
绿联 NAS 系统配置镜像加速
QNAP 威联通 NAS 配置加速
Podman 容器引擎配置加速
HPC 科学计算容器配置加速
ghcr、Quay、nvcr 等镜像仓库
无需登录使用专属域名加速
需要其他帮助?请查看我们的 常见问题 或 官方QQ群: 13763429