lightly/worker

Lightly Worker 镜像文档

一、镜像概述

Lightly 是一个智能计算机视觉解决方案，旨在处理原始未标记图像数据，筛选出最具信息价值的样本进行标注，并减轻数据集偏差。该方案可扩展至包含数百万图像或数千视频的大型数据集。本镜像为 Lightly Worker 的容器化实现。

Lightly Worker 是一款用户可自行托管的 Docker 容器，用于处理大型数据集。它从任务队列中获取作业并将输出结果存储回用户的云存储或本地存储，确保敏感数据始终不离开用户的存储环境。

二、核心功能与特性

主要功能

• 高效处理能力：几小时内可完成超过1000万样本的筛选
• 多样化筛选策略：支持按多样性、权重、阈值或相似度进行样本选择
• 内置主动学习管道
• 原生视频支持：无需预先提取帧即可直接处理视频
• 企业级就绪：安全可靠，满足企业级应用需求

高级特性

• 预标记模型：
  • 支持数据集预标注或筛选包含特定对象的图像
  • 支持对象类别：自行车、公交车、汽车、摩托车、行人、火车、卡车
  • 兼容用户自定义预测结果
• 自定义元数据支持
• 自动化数据集报告：每次运行生成包含直方图、图表、统计数据等的PDF报告
• 性能优化：多线程处理，支持SIMD指令
• 更多高级功能

三、使用指南

快速开始

建议通过官方快速入门指南开始使用Lightly Worker。

详细文档

Lightly Worker提供了全面且深入的技术文档，涵盖从基础设置到高级配置的所有内容。

四、适用场景

Lightly Worker适用于以下场景：

• 大规模计算机视觉数据集的优化与筛选
• 主动学习流程中的样本选择，减少标注成本
• 视频数据直接处理，避免帧提取的额外步骤
• 需要预标记样本以加速标注流程的场景
• 生成数据集统计报告与可视化分析
• 企业级计算机视觉项目的数据预处理与优化

五、硬件要求

请参考官方硬件要求文档选择合适的运行环境。

六、安全说明

Lightly Worker设计确保敏感数据安全。有关数据安全机制的详细说明，请参阅安全文档。

七、更新日志

通过更新日志了解最新功能和版本更新信息。

八、技术支持

如有任何问题，可通过以下渠道获取支持：

• ***社区
• 官方联系表单