openbayes/docsearch-scraper-action-base

在GitHub Actions中使用Docker运行Algolia DocSearch爬虫

镜像概述和主要用途

该Docker镜像用于在GitHub Actions工作流中运行自托管的Algolia DocSearch爬虫（基于https://github.com/algolia/docsearch-scraper%EF%BC%89%E3%80%82%E9%80%9A%E8%BF%87%E5%AE%B9%E5%99%A8%E5%8C%96%E9%83%A8%E7%BD%B2%EF%BC%8C%E5%8F%AF%E5%AE%9E%E7%8E%B0%E7%BD%91%E7%AB%99%E5%86%85%E5%AE%B9%E7%9A%84%E8%87%AA%E5%8A%A8%E6%8A%93%E5%8F%96%E5%B9%B6%E6%8E%A8%E9%80%81%E5%88%B0Algolia%E6%90%9C%E7%B4%A2%E5%BC%95%E6%93%8E%E7%B4%A2%E5%BC%95%EF%BC%8C%E9%80%82%E7%94%A8%E4%BA%8E%E9%9C%80%E8%A6%81%E8%87%AA%E5%AE%9A%E4%B9%89%E6%90%9C%E7%B4%A2%E5%8A%9F%E8%83%BD%E7%9A%84%E6%96%87%E6%A1%A3%E7%BD%91%E7%AB%99%E6%88%96%E5%BA%94%E7%94%A8%E3%80%82

核心功能和特性

• 加速GitHub Actions工作流：基础镜像经过优化，构建时间不到1分钟，显著提升工作流执行效率。
• 自动更新机制：借助Docker Hub的基础镜像自动构建功能，无需手动干预即可保持爬虫版本更新。
• 配置灵活性：支持自定义爬虫配置，可参考https://github.com/algolia/docsearch-configs%E4%BB%93%E5%BA%93%E8%8E%B7%E5%8F%96%E7%A4%BA%E4%BE%8B%E9%85%8D%E7%BD%AE%E3%80%82

使用场景和适用范围

适用于需要在GitHub Actions中自动化执行Algolia DocSearch爬虫的场景，特别适合：

• 文档网站（如Docusaurus、Sphinx等）构建自定义搜索引擎
• 需定期更新Algolia索引的项目
• 希望通过自托管方式控制爬虫执行流程的用户

使用方法和配置说明

环境变量说明

基本使用示例

直接在GitHub Actions工作流中设置环境变量：

yaml
- name: 推送索引到Algolia
  uses: signcl/docsearch-scraper-action@master
  env:
    APPLICATION_ID: ${{ secrets.ALGOLIA_APPLICATION_ID }}
    API_KEY: ${{ secrets.ALGOLIA_API_KEY }}
    CONFIG: '{"index_name": "docs","start_urls": ["https://example.com/"],"sitemap_urls": ["https://example.com/sitemap.xml"],"sitemap_alternate_links": true,"stop_urls": [],"selectors": {"lvl1": "header h1","lvl2": "article h2","lvl3": "article h3","lvl4": "article h4","lvl5": "article h5, article td:first-child","lvl6": "article h6","text": "article p, article li, article td:last-child"},"strip_chars": " .,;:#","custom_settings": {"separatorsToIndex": "_","attributesForFaceting": ["language","version","type","docusaurus_tag"],"attributesToRetrieve": ["hierarchy","content","anchor","url","url_without_anchor","type"]}}'

高级配置（推荐）

当配置包含复杂XPath选择器（如ul[contains(@class,'menu__list')]）时，推荐将配置保存为algolia.json文件并提交到代码仓库，通过工作流步骤读取配置内容：

yaml
- uses: actions/checkout@v2  # 检出代码仓库，获取algolia.json文件

- name: 获取algolia.json内容作为配置
  id: algolia_config
  run: echo "::set-output name=config::$(cat algolia.json | jq -r tostring)"  # 使用jq工具将JSON转换为字符串

- name: 推送索引到Algolia
  uses: signcl/docsearch-scraper-action@master
  env:
    APPLICATION_ID: ${{ secrets.ALGOLIA_APPLICATION_ID }}
    API_KEY: ${{ secrets.ALGOLIA_API_KEY }}
    CONFIG: ${{ steps.algolia_config.outputs.config }}  # 使用步骤输出的配置字符串