hopolcn/omnibox

OmniBox Docker镜像文档

镜像概述和主要用途

OmniBox通过Docker部署，可直接从Docker Hub拉取预构建镜像，无需从源码构建。提供两种版本以满足不同需求，支持各类爬虫任务及视频处理功能。

核心功能和特性

镜像版本说明

• 选择建议：
  • 需要Python爬虫或视频嗅探：使用完整版 lampon/omnibox:latest
  • 仅使用JS爬虫且希望体积更小：使用精简版 lampon/omnibox:lite

使用场景和适用范围

• 快速部署OmniBox服务，开展网页数据爬取任务
• 需要同时支持JS和Python两种爬虫语言的场景
• 需对视频内容进行嗅探和时长探测的应用
• 对镜像体积有要求，仅需基础JS爬虫功能的轻量场景

详细使用方法和配置说明

使用预构建镜像

完整版部署

bash
docker pull lampon/omnibox:latest
docker run -d \
  --name omnibox \
  --restart unless-stopped \
  -p 7023:7023 \
  -v omnibox-data:/app/data \
  lampon/omnibox:latest

精简版部署

bash
docker pull lampon/omnibox:lite
docker run -d \
  --name omnibox \
  --restart unless-stopped \
  -p 7023:7023 \
  -v omnibox-data:/app/data \
  lampon/omnibox:lite

访问方式：http://localhost:7023（端口映射可自定义，如-p 7123:7023则访问http://localhost:7123）

验证完整版镜像（嗅探功能）

完整版集成Chromium headless shell，可通过以下方式验证嗅探功能：

• 接口验证：启动容器后向嗅探接口发送请求（需带鉴权），返回结果非「playwright not installed」即表示浏览器功能正常
• 脚本验证：在容器内执行以下命令：

  bash
  echo '{"url":"https://example.com"}' | python3 /app/scripts/video_sniffer.py
  

  若输出JSON格式数据（含url/header或error字段），且非「playwright not installed」，则headless shell工作正常

环境变量配置

bash
docker run -d \
  --name omnibox \
  -p 7023:7023 \
  -e SERVER_PORT=7023 \
  -e DATABASE_TYPE=sqlite \
  -e DATABASE_URL=./data/data.sqlite \
  -v omnibox-data:/app/data \
  lampon/omnibox:latest

数据库配置（MySQL/PostgreSQL）

默认使用SQLite（无需额外配置）。如需使用MySQL或PostgreSQL，需配置以下环境变量：

• MySQL：

  DATABASE_TYPE=mysql
  DATABASE_HOST=<数据库主机>
  DATABASE_PORT=3306（默认）
  DATABASE_USERNAME=<用户名>
  DATABASE_PASSWORD=<密码>
  DATABASE_DATABASE=<数据库名>
  

• PostgreSQL：

  DATABASE_TYPE=postgres
  DATABASE_HOST=<数据库主机>
  DATABASE_PORT=5432（默认）
  DATABASE_USERNAME=<用户名>
  DATABASE_PASSWORD=<密码>
  DATABASE_DATABASE=<数据库名>
  

完整配置说明与示例见安装部署 - 环境变量与数据库选择

视频嗅探说明

完整版镜像已预装Python、Playwright及Chromium headless shell，爬虫脚本可调用OmniBox.sniffVideo(url, headers)进行播放页嗅探。建议在docker-compose.yml中为服务添加ipc: host配置，以减少Chromium内存问题。

精简版（基于Dockerfile.lite构建）不含Python/ffprobe及video_sniffer.py，调用嗅探接口将返回「video_sniffer.py not found」。

数据持久化

使用Docker卷

bash
docker run -d \
  --name omnibox \
  -p 7023:7023 \
  -v omnibox-data:/app/data \
  lampon/omnibox:latest

使用主机目录

bash
docker run -d \
  --name omnibox \
  -p 7023:7023 \
  -v /path/to/data:/app/data \
  lampon/omnibox:latest

如需从源码构建或多架构推送，详见项目文档 - Docker构建与推送

故障排除

容器无法启动

查看容器日志定位问题：

bash
docker compose logs omnibox
# 或
docker logs omnibox

常见原因：端口占用、环境变量配置错误、数据目录权限问题

数据备份与恢复

备份数据

bash
docker run --rm \
  -v omnibox-data:/data \
  -v $(pwd):/backup \
  alpine tar czf /backup/omnibox-backup.tar.gz -C /data .

恢复数据

bash
docker run --rm \
  -v omnibox-data:/data \
  -v $(pwd):/backup \
  alpine sh -c "cd /data && tar xzf /backup/omnibox-backup.tar.gz"

资源限制配置

bash
docker run -d \
  --name omnibox \
  -p 7023:7023 \
  --memory="512m" \
  --cpus="1.0" \
  -v omnibox-data:/app/data \
  lampon/omnibox:latest

生产环境建议

• 使用Docker Compose管理服务，便于配置维护
• 部署Nginx/Traefik等反向代理，并配置HTTPS（如Let's Encrypt证书）
• 若使用视频嗅探功能，在Compose配置中为服务添加ipc: host参数