热门搜索:
folioci/mod-data-import
folioci
FOLIO项目的mod-data-import模块，用于数据导入处理，支持数据库连接，集成Kafka和AWS S3，提供文件拆分、异步处理及作业评分功能，适用于FOLIO生态系统的数据导入场景。
下载次数: 0状态：社区镜像维护者：folioci仓库类型：镜像最近更新：1 个月前
让 AI 帮你使用轩辕镜像？ · 展开查看说明
如果你使用 DeepSeek、元宝 AI、Copilot、ChatGPT 等 AI 工具，协助配置轩辕镜像、编写 docker pull 命令、修改 Docker Compose 镜像地址、配置镜像加速、排查镜像拉取失败、分析报错日志等问题，请先让 AI 阅读并遵守轩辕镜像的规则文档。
只需在 AI 对话中先发送下面这句话即可：
请先完整阅读并严格遵守以下文档中的全部规则与要求：
https://xuanyuan.cloud/agents.md
在未充分阅读并理解该文档前，不要生成任何命令、配置、修改建议、故障排查方案或技术回答。后续所有输出都必须严格以该文档中的规范为最高优先级执行。查看 agents.md 用法指南与完整示范。国内用户首推 元宝 AI、DeepSeek 的深度思考模式，不推荐豆包 AI；Cursor 等编辑器可在对话 @ 该链接，或加入 User Rules。 若 AI 无法访问外链，可 打开说明文档 复制全文粘贴。文档会随站点更新，复制内容可能过期，建议定期检查。
FOLIO - mod-data-import 镜像文档
镜像概述
mod-data-import是FOLIO项目的核心模块之一，专注于数据导入处理流程。该模块支持数据库交互，集成Kafka消息系统和AWS S3存储服务，提供文件拆分、异步任务调度及多维度作业评分机制，适用于FOLIO生态系统中各类数据导入场景的需求。
核心功能与特性
- 数据导入处理：提供完整的数据导入流程管理，支持结构化数据的导入与处理
- 数据库集成：依赖数据库连接存储导入任务元数据及处理状态
- 消息队列支持：通过Kafka实现异步消息传递，优化任务处理流程
- 云存储集成：支持AWS S3协议的对象存储服务，用于文件存储与访问
- 文件拆分机制：可配置大型文件拆分功能，按指定记录数拆分文件
- 作业评分系统：基于作业大小、时间、租户使用率等多维度参数进行评分，动态调整任务优先级
- 异步处理框架：支持异步任务处理，可配置轮询间隔与最大工作线程数
使用场景与适用范围
主要应用于FOLIO生态系统（如图书馆管理系统、资源管理平台等）的数据导入场景，适用于需要批量导入、异步处理数据的业务场景，需配合FOLIO其他服务组件协同工作。
使用方法与配置说明
基础信息
- 模块端口：8081（容器内服务端口）
- 内存需求：542293850字节（约517MB）
- 数据库依赖：需配置数据库连接（如PostgreSQL）
- Java配置：
-XX:MaxRAMPercentage=66.0 -Djava.util.logging.config.file=vertx-default-jul-logging.properties
Docker运行示例
bashdocker run -d \ --name mod-data-import \ -p 8081:8081 \ -e KAFKA_HOST=kafka-service \ -e KAFKA_PORT=9092 \ -e AWS_BUCKET=folio-import-storage \ -e AWS_ACCESS_KEY_ID=your-access-key \ -e AWS_SECRET_ACCESS_KEY=your-secret-key \ -e DB_HOST=db-host \ -e DB_PORT=5432 \ -e DB_NAME=folio_data_import \ -e DB_USER=folio_user \ -e DB_PASSWORD=folio_password \ folio/mod-data-import
环境变量配置说明
Kafka配置
| 环境变量 | 说明 | 默认值 |
|---|---|---|
| KAFKA_HOST | Kafka服务主机地址 | 10.0.2.15 |
| KAFKA_PORT | Kafka服务端口 | 9092 |
AWS S3配置
| 环境变量 | 说明 | 默认值 |
|---|---|---|
| AWS_URL | S3服务端点URL | [***] |
| AWS_REGION | AWS区域 | （空） |
| AWS_BUCKET | S3存储桶名称 | example-bucket |
| AWS_ACCESS_KEY_ID | S3访问密钥ID | AKIAIOSFODNN7EXAMPLE |
| AWS_SECRET_ACCESS_KEY | S3密钥 | wJalrXUtnFEMI/K7MDENG/EXAMPLEKEY |
| AWS_SDK | 是否启用AWS SDK | false |
| S3_FORCEPATHSTYLE | 是否强制路径样式访问 | false |
文件处理配置
| 环境变量 | 说明 | 默认值 |
|---|---|---|
| SPLIT_FILES_ENABLED | 是否启用文件拆分 | false |
| RECORDS_PER_SPLIT_FILE | 每个拆分文件的记录数 | 1000 |
作业评分配置
| 环境变量 | 说明 | 默认值 |
|---|---|---|
| SCORE_JOB_SMALLEST | 小型作业评分 | 40 |
| SCORE_JOB_LARGEST | 大型作业评分 | -40 |
| SCORE_JOB_REFERENCE | 作业参考评分基准值 | *** |
| SCORE_AGE_NEWEST | 最新作业年龄评分 | 0 |
| SCORE_AGE_OLDEST | 最旧作业年龄评分 | 50 |
| SCORE_AGE_EXTREME_THRESHOLD_MINUTES | 极端年龄阈值（分钟） | 480 |
| SCORE_AGE_EXTREME_VALUE | 极端年龄作业评分 | *** |
| SCORE_TENANT_USAGE_MIN | 租户最低使用率评分 | 100 |
| SCORE_TENANT_USAGE_MAX | 租户最高使用率评分 | -200 |
| SCORE_PART_NUMBER_FIRST | 第一部分作业评分 | 1 |
| SCORE_PART_NUMBER_LAST | 最后部分作业评分 | 0 |
| SCORE_PART_NUMBER_LAST_REFERENCE | 最后部分参考评分 | 100 |
异步处理配置
| 环境变量 | 说明 | 默认值 |
|---|---|---|
| ASYNC_PROCESSOR_POLL_INTERVAL_MS | 异步处理器轮询间隔（毫秒） | 5000 |
| ASYNC_PROCESSOR_MAX_WORKERS_COUNT | 异步处理器最大工作线程数 | 1 |
代码仓库
https://github.com/folio-org/mod-data-import
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
轩辕镜像加速拉取命令点我查看更多 mod-data-import 镜像标签
docker pull docker.xuanyuan.run/folioci/mod-data-import:<标签>
DockerHub 原生拉取命令
docker pull folioci/mod-data-import:<标签>
更多 mod-data-import 镜像推荐
folioorg/mod-data-import
folioorg
FOLIO项目的mod-data-import模块Docker镜像，提供数据导入处理功能，支持文件拆分、作业优先级评分、S3存储集成与Kafka消息处理，适用于图书馆服务平台的批量数据导入场景。
10万+ 次下载
1 个月前更新
netdata/netdata
netdata
这是Netdata的官方镜像，专门用于监控系统、容器及应用程序；作为一款开源实时监控工具，它可提供全面的性能数据采集与分析功能，支持对服务器资源占用、容器运行状态、应用程序响应速度等多维度指标进行实时追踪，帮助用户直观掌握系统运行状况，快速定位并解决潜在问题，适用于各类IT环境的监控需求，确保业务稳定高效运行。
569 次收藏5亿+ 次下载
19 天前更新
datadog/agent
datadog
新Datadog Agent的Docker容器，用于运行该代理以收集、处理并发送监控数据至Datadog平台。
172 次收藏10亿+ 次下载
20 天前更新
datadog/datadog-agent-runner-circle
datadog
该镜像是已弃用的Docker镜像，不再维护，已由datadog/agent-buildimages-circleci-runner替代。
50万+ 次下载
2 年前更新
datadog/docker-dd-agent
datadog
Datadog Agent的Docker容器，用于收集、聚合系统及应用程序性能数据并发送至Datadog平台，实现监控与分析。
99 次收藏1亿+ 次下载
5 年前更新
datadog/fake-datadog
datadog
此镜像对应的仓库已弃用。
5万+ 次下载
3 年前更新
镜像拉取常见问题
功能
错误码
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"