typesense/docsearch-scraper

Typesense DocSearch Scraper 镜像文档

镜像概述

该Docker镜像用于从网站抓取内容并在Typesense中建立索引，专为与typesense-docsearch配合使用而设计，旨在为网站提供高效的内容搜索能力。通过自动化抓取网站内容并将其索引到Typesense搜索引擎，可快速实现网站内容的搜索功能集成。

核心功能与特性

核心功能

• 内容抓取：自动从指定网站抓取页面内容
• 索引建立：将抓取的内容结构化并存储到Typesense中建立索引
• 集成兼容：与typesense-docsearch无缝配合，支持搜索功能实现

主要特性

• 专注于与Typesense搜索引擎生态集成
• 简化网站内容索引化流程
• 支持通过配置参数自定义抓取和索引行为

使用场景与适用范围

适用场景

• 需要为网站添加搜索功能的场景
• 使用Typesense作为搜索引擎的网站
• 希望通过自动化方式将网站内容索引化的应用

适用范围

• 各类静态或动态网站
• 基于Typesense构建搜索系统的项目
• 需要快速实现内容搜索功能的开发者和网站管理员

使用方法与配置说明

前置要求

• 已部署Typesense服务器
• 已获取Typesense API密钥
• 目标网站可被访问以进行内容抓取

部署示例

Docker Run 命令

bash
docker run \
  -e TYPESENSE_HOST=<your-typesense-host> \
  -e TYPESENSE_PORT=<your-typesense-port> \
  -e TYPESENSE_PROTOCOL=<http|https> \
  -e TYPESENSE_API_KEY=<your-typesense-api-key> \
  -e SITE_URL=<your-website-url> \
  docker.xuanyuan.run/typesense/docsearch-scraper

Docker Compose 配置

yaml
version: '3'
services:
  docsearch-scraper:
    image: docker.xuanyuan.run/typesense/docsearch-scraper
    environment:
      - TYPESENSE_HOST=your-typesense-host
      - TYPESENSE_PORT=8108
      - TYPESENSE_PROTOCOL=http
      - TYPESENSE_API_KEY=your-api-key
      - SITE_URL=https://your-website.com

配置参数说明

详细的配置参数及设置指南，请参考官方完整设置文档：https://typesense.org/docs/guide/docsearch.html

注意事项

• 确保Typesense服务器可被容器访问
• 配置适当的抓取频率以避免对网站服务器造成过度负载
• 敏感信息（如API密钥）建议通过环境变量或安全配置方式传递

完整设置指南

有关详细的配置步骤、高级选项和故障排除，请查阅官方完整设置指南：https://typesense.org/docs/guide/docsearch.html