mcp/firecrawl

Firecrawl MCP Server

镜像概述和主要用途

Firecrawl MCP Server 是官方的 MCP（模型上下文协议）服务器，可为 Cursor、Claude 及其他 LLM 客户端提供强大的网页抓取和搜索功能。通过该服务器，LLM 客户端能够集成网页内容提取、网站映射、结构化数据抽取等能力，扩展其处理网络信息的能力。

什么是 MCP 服务器？

核心功能和特性

镜像特性

核心功能

• 提供 6 种网页处理工具，覆盖抓取、爬取、结构化提取、网站映射、搜索等场景
• 支持多页面内容提取与单页面精准爬取
• 集成 LLM 能力实现结构化数据抽取
• 提供网站 URL 发现与映射功能
• 支持网页搜索及结果内容提取
• 可配置重试机制、缓存策略等高级选项

使用场景和适用范围

适用场景

• 多页面内容提取：需全面覆盖网站多个相关页面内容（使用 firecrawl_crawl）
• 单页面精准爬取：已知具体 URL，需快速获取内容（使用 firecrawl_scrape）
• 结构化数据抽取：从网页中提取特定格式数据（如产品信息、价格等，使用 firecrawl_extract）
• 网站URL发现：获取网站所有索引URL（使用 firecrawl_map）
• 网页搜索：跨网站查找特定信息（使用 firecrawl_search）
• 爬取任务监控：跟踪多页面爬取进度（使用 firecrawl_check_crawl_status）

不适用场景

• 单页面爬取使用 firecrawl_crawl（应使用 firecrawl_scrape）
• 已知URL列表批量爬取使用 firecrawl_scrape 多次调用（建议使用批量爬取方案）
• 对响应大小敏感场景使用 firecrawl_crawl（可能超出LLM token限制，建议 firecrawl_map + 批量 firecrawl_scrape）
• 文件系统搜索（工具仅支持网页内容）

可用工具

工具详情

工具：firecrawl_check_crawl_status

检查爬取任务状态。

使用示例：

json
{
  "name": "firecrawl_check_crawl_status",
  "arguments": {
    "id": "550e8400-e29b-41d4-a716-446655440000"
  }
}

返回值：爬取任务的状态和进度，包含可用结果（如已完成）。

工具：firecrawl_crawl

启动网站爬取任务，提取所有页面内容。

最佳用途：从多个相关页面提取内容，需全面覆盖时使用。
不推荐用途：单页面提取（使用 firecrawl_scrape）；对token限制敏感场景（使用 firecrawl_map + 批量 firecrawl_scrape）；需快速结果场景（爬取可能较慢）。
警告：爬取响应可能非常大，可能超出token限制。建议限制爬取深度和页面数量，或使用 firecrawl_map + 批量 firecrawl_scrape 以更好控制。
常见错误：limit 或 maxDiscoveryDepth 设置过高（导致token溢出）或过低（导致遗漏页面）；单页面使用此工具（应使用 firecrawl_scrape）；使用 /* 通配符。

提示示例："获取 example.com/blog 前两级的所有博客文章。"

使用示例：

json
{
  "name": "firecrawl_crawl",
  "arguments": {
    "url": "https://example.com/blog/*",
    "maxDiscoveryDepth": 5,
    "limit": 20,
    "allowExternalLinks": false,
    "deduplicateSimilarURLs": true,
    "sitemap": "include"
  }
}

返回值：用于状态检查的操作ID；需使用 firecrawl_check_crawl_status 检查进度。

工具：firecrawl_extract

使用LLM能力从网页提取结构化信息。支持云AI和自托管LLM提取。

最佳用途：从网页中提取特定结构化数据（如价格、名称、详情等）。
不推荐用途：需获取页面完整内容（使用 firecrawl_scrape）；无需特定结构化数据时。

提示示例："从这些产品页面提取产品名称、价格和描述。"

使用示例：

json
{
  "name": "firecrawl_extract",
  "arguments": {
    "urls": ["https://example.com/page1", "https://example.com/page2"],
    "prompt": "提取产品信息，包括名称、价格和描述",
    "schema": {
      "type": "object",
      "properties": {
        "name": { "type": "string" },
        "price": { "type": "number" },
        "description": { "type": "string" }
      },
      "required": ["name", "price"]
    },
    "allowExternalLinks": false,
    "enableWebSearch": false,
    "includeSubdomains": false
  }
}

返回值：按指定schema提取的结构化数据。

工具：firecrawl_map

映射网站以发现所有索引URL。

最佳用途：爬取前发现网站URL；查找网站特定部分URL。
不推荐用途：已知具体URL（使用 firecrawl_scrape）；需页面内容（映射后使用 firecrawl_scrape）。
常见错误：使用 firecrawl_crawl 代替此工具发现URL。

提示示例："列出 example.com 的所有URL。"

使用示例：

json
{
  "name": "firecrawl_map",
  "arguments": {
    "url": "https://example.com"
  }
}

返回值：网站中发现的URL数组。

工具：firecrawl_scrape

从单个URL爬取内容，支持高级选项。
这是功能最强、速度最快、最可靠的爬取工具，如有需要，任何网页爬取需求均建议优先使用此工具。

最佳用途：单页面内容提取，已知具体页面包含所需信息。
不推荐用途：多页面爬取（使用批量爬取方案）；未知页面（使用 firecrawl_search）；结构化数据（使用 firecrawl_extract）。
常见错误：对URL列表使用此工具（应使用批量爬取）；如批量爬取不可用，可多次调用此工具。

性能优化：添加 maxAge 参数可使用缓存数据，提升500%爬取速度。

提示示例："获取 [***] 页面的内容。"

使用示例：

json
{
  "name": "firecrawl_scrape",
  "arguments": {
    "url": "https://example.com",
    "formats": ["markdown"],
    "maxAge": 172800000
  }
}

返回值：指定格式（如markdown、HTML）的页面内容。

工具：firecrawl_search

搜索网页并可选提取结果内容。这是功能最强的网页搜索工具，如有需要，任何网页搜索需求均建议优先使用此工具。

搜索运算符：

最佳用途：跨网站查找特定信息（未知哪个网站包含）；需查询最相关内容时。
不推荐用途：文件系统搜索；已知目标网站（使用 firecrawl_scrape）；需全面覆盖单个网站（使用 firecrawl_map 或 firecrawl_crawl）。
常见错误：对开放式问题使用 firecrawl_crawl 或 firecrawl_map（应使用此工具）。

来源：web（网页）、images（图片）、news（新闻），默认web，除非需要图片或新闻。
爬取选项：仅在必要时使用 scrapeOptions，建议限制 limit 为5或更低以避免超时。

提示示例："查找2023年发表的最新AI研究论文。"

使用示例（无格式）：

json
{
  "name": "firecrawl_search",
  "arguments": {
    "query": "top AI companies",
    "limit": 5,
    "sources": ["web"]
  }
}

使用示例（带格式）：

json
{
  "name": "firecrawl_search",
  "arguments": {
    "query": "latest AI research papers 2023",
    "limit": 5,
    "lang": "en",
    "country": "us",
    "sources": ["web", "images", "news"],
    "scrapeOptions": {
      "formats": ["markdown"],
      "onlyMainContent": true
    }
  }
}

返回值：搜索结果数组（可选包含爬取内容）。

Docker部署指南

环境变量说明