热门搜索:
treeverse/lakectl
treeverse
lakeFS是一款开源工具，可将对象存储转换为类Git仓库，实现数据湖的版本控制与管理。支持AWS S3、Azure Blob、GCS等存储服务，提供分支、提交、回滚等功能，兼容S3 API及Spark、Hive等数据框架，确保数据操作的可重复性、原子性与版本化。
下载次数: 0状态：社区镜像维护者：treeverse仓库类型：镜像最近更新：1 个月前
lakeFS 镜像文档
镜像概述与主要用途
lakeFS 是一款开源工具，能够将对象存储转换为类 Git 仓库，使数据湖管理具备代码管理的特性。它支持 AWS S3、Azure Blob Storage 和 Google Cloud Storage 作为底层存储服务，提供 S3 API 兼容性，可与 Spark、Hive、AWS Athena、Presto 等现代数据框架无缝协作。通过 lakeFS，用户可以构建可重复、原子化和版本化的数据湖操作，覆盖从复杂 ETL 作业到数据科学与分析的全流程。
核心功能与特性
开发阶段
- 实验隔离：创建数据分支进行工具试用、版本升级和代码变更测试，隔离环境不影响其他用户
- 历史调试：检出仓库提交历史中的特定版本，获取一致的历史数据快照用于问题排查
- 并行协作：基于元数据管理的隔离分支支持团队并行工作，无需复制文件
部署阶段
- 版本控制：借鉴软件工程最佳实践，通过 CI/CD 工作流安全部署数据。在隔离分支摄入新数据，执行数据验证后，通过合并操作将其加入生产环境
- 数据测试：定义预合并和预提交钩子，运行测试以强制实施数据模式和验证数据属性，在问题影响生产前捕获
生产阶段
- 快速回滚：通过原子操作将数据即时恢复到之前的一致快照，选择仓库提交历史中的任意版本进行恢复
- 故障排查：基于失败流程的输入数据快照进行问题调查，确保排查环境一致
- 跨集合一致性：通过原子、可回滚的操作，为数据消费者提供多个同步的数据集合
使用场景与适用范围
- 数据湖管理：实现数据版本控制、分支管理和变更追踪，解决数据湖混乱问题
- ETL 作业：确保 ETL 流程的可重复性和原子性，支持失败后回滚到稳定版本
- 数据科学与分析：提供隔离的实验环境，支持数据版本对比和结果复现
- 数据质量验证：通过预提交钩子在数据入库前进行质量检查，防止劣质数据进入生产
- 团队协作：多团队并行操作数据湖，避免相互干扰，提高协作效率
使用方法与配置说明
Docker 部署（MacOS/Linux）
- 确保已安装 Docker 和 Docker Compose
- 执行以下命令启动 lakeFS：
bash
curl https://compose.lakefs.io | docker-compose -f - up - 在浏览器中打开 [***] API 请求）
Docker 部署（Windows）
- 确保已安装 Docker
- 在 PowerShell 中执行以下命令启动 lakeFS：
shell
Invoke-WebRequest https://compose.lakefs.io | Select-Object -ExpandProperty Content | docker-compose -f - up - 在浏览器中打开 [***]
二进制文件下载
可直接下载 lakeFS 二进制文件运行，二进制文件可从 https://github.com/treeverse/lakeFS/releases 获取
仓库设置
请参考 快速入门指南 配置本地 lakeFS 安装。更多详细设置说明，请访问 lakeFS 文档。
社区支持
通过以下渠道获取 lakeFS 最新动态和支持：
- Slack：获取团队和其他用户的帮助
- ***：关注更新和新闻
- ***：观看视频教程
- 联系我们：处理其他问题
更多信息
- lakeFS 官方文档
- 贡献指南（如需参与贡献）
- 产品路线图
许可协议
lakeFS 是完全免费的开源软件，采用 Apache 2.0 许可协议。
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
DockerHub 原生拉取命令
docker pull treeverse/lakectl:<标签>
更多 lakectl 镜像推荐
treeverse/lakefs
treeverse
lakeFS是一款开源工具，将对象存储转换为类Git仓库，实现数据湖的版本控制、分支管理和原子操作，支持AWS S3、Azure Blob Storage、Google Cloud Storage等主流云存储及Spark、Hive等数据框架，适用于ETL、数据科学和分析场景。
3 次收藏100万+ 次下载
1 个月前更新
treeverse/bitnami-spark
treeverse
暂无描述
5万+ 次下载
2 个月前更新
treeverse/openapi-generator-cli
treeverse
暂无描述
1万+ 次下载
11 个月前更新
trivadis/lakefs-hooks
trivadis
lakeFS-hooks Docker镜像是一组用于lakeFS的Webhook集合，提供预提交和预合并验证功能，确保数据湖生产分支仅包含有效、高质量数据，同时允许在隔离分支上进行未测试版本的实验。
181 次下载
1 年前更新
轩辕镜像配置手册
探索更多轩辕镜像的使用方法，找到最适合您系统的配置方式
Docker 配置
登录仓库拉取
通过 Docker 登录认证访问私有仓库
专属域名拉取
无需登录使用专属域名
K8s Containerd
Kubernetes 集群配置 Containerd
K3s
K3s 轻量级 Kubernetes 镜像加速
Dev Containers
VS Code Dev Containers 配置
Podman
Podman 容器引擎配置
Singularity/Apptainer
HPC 科学计算容器配置
其他仓库配置
ghcr、Quay、nvcr 等镜像仓库
Harbor 镜像源配置
Harbor Proxy Repository 对接专属域名
Portainer 镜像源配置
Portainer Registries 加速拉取
Nexus 镜像源配置
Nexus3 Docker Proxy 内网缓存
系统配置
需要其他帮助？请查看我们的 常见问题Docker 镜像访问常见问题解答 或 提交工单
镜像拉取常见问题
使用与功能问题
配置了专属域名后，docker search 为什么会报错？
docker search 限制
Docker Hub 上有的镜像，为什么在轩辕镜像网站搜不到？
站内搜不到镜像
机器不能直连外网时，怎么用 docker save / load 迁镜像？
离线 save/load
docker pull 拉插件报错（plugin v1+json）怎么办？
插件要用 plugin install
WSL 里 Docker 拉镜像特别慢，怎么排查和优化？
WSL 拉取慢
轩辕镜像安全吗？如何用 digest 校验镜像没被篡改？
安全与 digest
第一次用轩辕镜像拉 Docker 镜像，要怎么登录和配置？
新手拉取配置
轩辕镜像合规吗？轩辕镜像的合规是怎么做的？
镜像合规机制
错误码与失败问题
docker pull 提示 manifest unknown 怎么办？
manifest unknown
docker pull 提示 no matching manifest 怎么办？
no matching manifest（架构）
镜像已拉取完成，却提示 invalid tar header 或 failed to register layer 怎么办？
invalid tar header（解压）
Docker pull 时 HTTPS / TLS 证书验证失败怎么办？
TLS 证书失败
Docker pull 时 DNS 解析超时或连不上仓库怎么办？
DNS 超时
docker 无法连接轩辕镜像域名怎么办？
域名连通性排查
Docker 拉取出现 410 Gone 怎么办？
410 Gone 排查
出现 402 或「流量用尽」提示怎么办？
402 与流量用尽
Docker 拉取提示 UNAUTHORIZED（401）怎么办？
401 认证失败
遇到 429 Too Many Requests（请求太频繁）怎么办？
429 限流
docker login 提示 Cannot autolaunch D-Bus，还算登录成功吗？
D-Bus 凭证提示
为什么会出现「单层超过 20GB」或 413，无法加速拉取？
413 与超大单层
账号 / 计费 / 权限
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"