diunipisocc/docker-finder

Docker Finder镜像说明

镜像概述

本镜像属于Docker Finder系统的核心组件，用于自动化分析Docker镜像的元数据及运行时特征，支持从Docker仓库爬取镜像信息、扫描镜像内容、检查本地与远程仓库镜像的一致性，最终构建镜像的多属性描述。

核心功能

1. 爬虫（Crawler）

• 从Docker仓库爬取镜像名称，支持两种模式：全量爬取仓库所有镜像、随机抽样爬取指定数量的镜像。
• 采用随机抽样算法（如已知序列长度的流式抽样、未知序列长度的蓄水池抽样）处理大规模镜像数据。
• 通过Docker Hub API获取镜像仓库信息、标签列表及单个标签详情。

2. 扫描器（Scanner）

• 检索镜像在仓库中的元数据，运行容器自动提取镜像的运行时特征（如支持的软件分发版本）。
• 支持单镜像扫描，可通过命令行提交扫描任务。

3. 检查器（Checker）

• 维护本地镜像描述与远程仓库镜像的一致性：删除远程已删除的本地镜像，对远程更新过的镜像重新触发分析。
• 验证并更新本地镜像的is_updated和is_automated字段，确保数据完整性。

使用场景

• Docker镜像仓库的自动化元数据采集与分析。
• 本地镜像库与远程仓库的一致性维护。
• 大规模Docker镜像的特征提取与多属性描述构建。

配置说明

扫描单个镜像

bash
docker run --network=dockerfinder_default -v /var/run/docker.sock:/var/run/docker.sock diunipisocc/docker-finder:scanner scan [repository:tag]

运行检查器验证镜像一致性

1. 构建检查器镜像：

bash
docker build -t checker ./checker

2. 修改docker-compose.yml配置：

yaml
services:
  checker:
    image: checker
    command: verify
    # 其他配置（如网络、卷挂载等）

3. 启动服务：

bash
docker-compose up images_server checker

爬虫数据插入镜像服务器

通过API将爬取的镜像信息插入本地镜像服务器：

• 获取镜像ID：

bash
curl "http://neri.di.unipi.it:3000/api/images?name=busyking/countryyear:1.0.0&select=id"

• 更新镜像描述：

bash
curl -X PUT -H "Content-Type: application/json" -d '{"repo_name":"busyking/countryyear","tag":"1.0.0","stars":6,"pulls":5,"architecture":"amd64"}' [***][image_id]