ghcr.io/firecrawl/playwright-service:linux-arm64

🔥 Firecrawl

用于大规模搜索、抓取和与网络交互的 API。🔥 用于查找来源、提取内容并将其转换为干净的 Markdown 或结构化数据的网络上下文 API，可供您的智能体使用。开源且可作为托管服务使用。

嘿，你，加入我们的星标关注者吧 :)

---

为什么选择 Firecrawl？

• 行业领先的可靠性：覆盖 96% 的网络，包括 JS 密集型页面——无需担心代理问题，只需获取干净数据（查看基准测试）
• 极速性能：数百万页面的 P95 延迟为 3.4 秒，专为实时智能体和动态应用构建
• LLM 就绪输出：干净的 Markdown、结构化 JSON、截图等——减少 token 消耗，构建更好的 AI 应用
• 我们处理复杂工作：自动代理轮换、任务编排、速率限制、JS 拦截内容等——零配置
• 智能体就绪：通过单个命令将 Firecrawl 连接到任何 AI 智能体或 MCP 客户端
• 媒体解析：解析并提取网络托管的 PDF、DOCX 等内容
• 操作功能：提取内容前可执行点击、滚动、输入、等待和按键操作
• 开源：透明协作开发——https://github.com/firecrawl/firecrawl

---

功能概述

核心端点

更多功能

---

快速开始

在firecrawl.dev注册以获取您的 API 密钥。尝试playground进行测试。

搜索

搜索网络并从结果中获取完整内容。

from firecrawl import Firecrawl

app = Firecrawl(api_key="fc-YOUR_API_KEY")

search_result = app.search("firecrawl", limit=5)

Node.js / cURL / CLI

Node.js

import { Firecrawl } from 'firecrawl';

const app = new Firecrawl({apiKey: "fc-YOUR_API_KEY"});

app.search("firecrawl", { limit: 5 })

cURL

curl -X POST 'https://api.firecrawl.dev/v2/search' \
-H 'Authorization: Bearer fc-YOUR_API_KEY' \
-H 'Content-Type: application/json' \
-d '{
"query": "firecrawl",
"limit": 5
}'

CLI

firecrawl search "firecrawl" --limit 5

输出：

[
{
"url": "https://firecrawl.dev",
"title": "Firecrawl",
"markdown": "Turn websites into..."
},
{
"url": "https://docs.firecrawl.dev",
"title": "Firecrawl Docs",
"markdown": "# Getting Started..."
}
]

抓取

从任何网站获取 LLM 就绪数据——Markdown、JSON、截图等。

from firecrawl import Firecrawl

app = Firecrawl(api_key="fc-YOUR_API_KEY")

result = app.scrape('firecrawl.dev')

Node.js / cURL / CLI

Node.js

import { Firecrawl } from 'firecrawl';

const app = new Firecrawl({ apiKey: "fc-YOUR_API_KEY" });

app.scrape('firecrawl.dev')

cURL

curl -X POST 'https://api.firecrawl.dev/v2/scrape' \
-H 'Authorization: Bearer fc-YOUR_API_KEY' \
-H 'Content-Type: application/json' \
-d '{
"url": "firecrawl.dev"
}'

CLI

firecrawl scrape https://firecrawl.dev
firecrawl https://firecrawl.dev --only-main-content

输出：

# Firecrawl

Firecrawl helps AI systems search, scrape, and interact with the web.

## Features
- Search: Find information across the web
- Scrape: Clean data from any page
- Interact: Click, navigate, and operate pages
- Agent: Autonomous data gathering

交互

抓取页面，然后使用 AI 提示或代码与之交互。

from firecrawl import Firecrawl

app = Firecrawl(api_key="fc-YOUR_API_KEY")

result = app.scrape("https://amazon.com")
scrape_id = result.metadata.scrape_id

app.interact(scrape_id, prompt="Search for 'mechanical keyboard'")
app.interact(scrape_id, prompt="Click the first result")

Node.js / cURL / CLI

Node.js

import { Firecrawl } from 'firecrawl';

const app = new Firecrawl({apiKey: "fc-YOUR_API_KEY"});

const result = await app.scrape("https://amazon.com");

await app.interact(result.metadata.scrapeId, {
prompt: "Search for 'mechanical keyboard'"
});
await app.interact(result.metadata.scrapeId, {
prompt: "Click the first result"
});

cURL

# 1. Scrape the page
curl -X POST 'https://api.firecrawl.dev/v2/scrape' \
-H 'Authorization: Bearer fc-YOUR_API_KEY' \
-H 'Content-Type: application/json' \
-d '{"url": "https://amazon.com"}'

# 2. Interact with the page (use scrapeId from step 1)
curl -X POST 'https://api.firecrawl.dev/v2/scrape/SCRAPE_ID/interact' \
-H 'Authorization: Bearer fc-YOUR_API_KEY' \
-H 'Content-Type: application/json' \
-d '{"prompt": "Search for mechanical keyboard"}'

CLI

firecrawl scrape https://amazon.com
firecrawl interact exec --prompt "Search for 'mechanical keyboard'"
firecrawl interact exec --prompt "Click the first result"

输出：

{
"success": true,
"output": "Keyboard available at $100",
"liveViewUrl": "https://liveview.firecrawl.dev/..."
}

---

为您的智能体提供动力

几分钟内将 Firecrawl 连接到任何 AI 智能体或 MCP 客户端。

技能

通过一个命令让您的智能体轻松访问实时网络数据。

npx -y firecrawl-cli@latest init --all --browser

MCP

几秒钟内将任何 MCP 兼容客户端连接到网络。

{
"mcpServers": {
"firecrawl-mcp": {
"command": "npx",
"args": ["-y", "firecrawl-mcp"],
"env": {
"FIRECRAWL_API_KEY": "fc-YOUR_API_KEY"
}
}
}
}

智能体入职

您是 AI 智能体吗？获取此技能以帮助用户注册、获取 API 密钥并开始使用 Firecrawl 构建。

curl -s https://firecrawl.dev/agent-onboarding/SKILL.md

有关所有可用命令，请参阅技能 + CLI 文档。关于 MCP，请参阅https://github.com/firecrawl/firecrawl-mcp-server%E3%80%82

---

更多端点

智能体

从网络获取数据的最简单方式。 描述您的需求，我们的 AI 智能体将搜索、导航并检索数据。无需 URL。

智能体是我们 /extract 端点的升级版本：更快、更可靠，且无需您预先知道 URL。

curl -X POST 'https://api.firecrawl.dev/v2/agent' \
-H 'Authorization: Bearer fc-YOUR_API_KEY' \
-H 'Content-Type: application/json' \
-d '{
"prompt": "Find the pricing plans for Notion"
}'

带结构化输出的智能体

使用模式获取结构化数据：

from firecrawl import Firecrawl
from pydantic import BaseModel, Field
from typing import List, Optional

app = Firecrawl(api_key="fc-YOUR_API_KEY")

class Founder(BaseModel):
    name: str = Field(description="创始人全名")
    role: Optional[str] = Field(None, description="角色或职位")

class FoundersSchema(BaseModel):
    founders: List[Founder] = Field(description="创始人列表")

result = app.agent(
    prompt="Find the founders of Firecrawl",
    schema=FoundersSchema
)

print(result.data)

{
    "founders": [
        {"name": "Eric Ciarla", "role": "Co-founder"},
        {"name": "Nicolas Camara", "role": "Co-founder"},
        {"name": "Caleb Peffer", "role": "Co-founder"}
    ]
}

带URL的智能体（可选）

将智能体聚焦于特定页面：

result = app.agent(
    urls=["https://docs.firecrawl.dev", "https://firecrawl.dev/pricing"],
    prompt="Compare the features and pricing information"
)

模型选择

根据需求在两个模型之间选择：

result = app.agent(
    prompt="Compare enterprise features across Firecrawl, Apify, and ScrapingBee",
    model="spark-1-pro"
)

何时使用Pro：

• 跨多个网站比较数据
• 从具有复杂导航或身份验证的网站提取信息
• 智能体需要探索多条路径的研究任务
• 准确性至关重要的关键数据

有关Spark模型的更多信息，请参阅我们的智能体文档。

爬取

爬取整个网站并获取所有页面的内容。

curl -X POST 'https://api.firecrawl.dev/v2/crawl' \
-H 'Authorization: Bearer fc-YOUR_API_KEY' \
-H 'Content-Type: application/json' \
-d '{
"url": "https://docs.firecrawl.dev",
"limit": 100,
"scrapeOptions": {
"formats": ["markdown"]
}
}'

返回作业ID：

{
"success": true,
"id": "123-456-789",
"url": "https://api.firecrawl.dev/v2/crawl/123-456-789"
}

检查爬取状态

curl -X GET 'https://api.firecrawl.dev/v2/crawl/123-456-789' \
-H 'Authorization: Bearer fc-YOUR_API_KEY'

{
"status": "completed",
"total": 50,
"completed": 50,
"creditsUsed": 50,
"data": [
{
"markdown": "# Page Title\n\nContent...",
"metadata": {"title": "Page Title", "sourceURL": "https://..."}
}
]
}

[!NOTE] SDKs会自动处理轮询，以提供更好的开发者体验。

站点地图

立即发现网站上的所有URL。

curl -X POST 'https://api.firecrawl.dev/v2/map' \
-H 'Authorization: Bearer fc-YOUR_API_KEY' \
-H 'Content-Type: application/json' \
-d '{"url": "https://firecrawl.dev"}'

响应：

{
"success": true,
"links": [
{"url": "https://firecrawl.dev", "title": "Firecrawl", "description": "Turn websites into LLM-ready data"},
{"url": "https://firecrawl.dev/pricing", "title": "Pricing", "description": "Firecrawl pricing plans"},
{"url": "https://firecrawl.dev/blog", "title": "Blog", "description": "Firecrawl blog"}
]
}

带搜索的站点地图

查找网站内的特定URL：

from firecrawl import Firecrawl

app = Firecrawl(api_key="fc-YOUR_API_KEY")

result = app.map("https://firecrawl.dev", search="pricing")
# 返回按与“pricing”相关性排序的URL

批量爬取

一次性爬取多个URL：

from firecrawl import Firecrawl

app = Firecrawl(api_key="fc-YOUR_API_KEY")

job = app.batch_scrape([
"https://firecrawl.dev",
"https://docs.firecrawl.dev",
"https://firecrawl.dev/pricing"
], formats=["markdown"])

for doc in job.data:
    print(doc.metadata.source_url)

---

SDKs

我们的SDK提供了便捷的方式来使用Firecrawl的所有功能，并自动处理异步操作的轮询。

Python

安装SDK：

pip install firecrawl-py

from firecrawl import Firecrawl

app = Firecrawl(api_key="fc-YOUR_API_KEY")

# 爬取单个URL
doc = app.scrape("https://firecrawl.dev", formats=["markdown"])
print(doc.markdown)

# 使用智能体进行自主数据收集
result = app.agent(prompt="Find the founders of Stripe")
print(result.data)

# 爬取网站（自动等待完成）
docs = app.crawl("https://docs.firecrawl.dev", limit=50)
for doc in docs.data:
    print(doc.metadata.source_url, doc.markdown[:100])

# 搜索网络
results = app.search("best AI data tools 2024", limit=10)
print(results)

Node.js

安装SDK：

npm install firecrawl

import { Firecrawl } from 'firecrawl';

const app = new Firecrawl({ apiKey: 'fc-YOUR_API_KEY' });

// 爬取单个URL
const doc = await app.scrape('https://firecrawl.dev', { formats: ['markdown'] });
console.log(doc.markdown);

// 使用智能体进行自主数据收集
const result = await app.agent({ prompt: 'Find the founders of Stripe' });
console.log(result.data);

// 爬取网站（自动等待完成）
const docs = await app.crawl('https://docs.firecrawl.dev', { limit: 50 });
docs.data.forEach(doc => {
    console.log(doc.metadata.sourceURL, doc.markdown.substring(0, 100));
});

// 搜索网络
const results = await app.search('best AI data tools 2024', { limit: 10 });
results.data.web.forEach(result => {
    console.log(`${result.title}: ${result.url}`);
});

Java

添加依赖（Gradle/Maven）：

repositories {
    mavenCentral()
    maven { url 'https://jitpack.io' }
}

dependencies {
    implementation 'com.github.firecrawl:firecrawl-java-sdk:2.0'
}

import dev.firecrawl.client.FirecrawlClient;
import dev.firecrawl.model.*;

FirecrawlClient client = new FirecrawlClient(
    System.getenv("FIRECRAWL_API_KEY"), null, null
);

// 爬取单个URL
ScrapeParams scrapeParams = new ScrapeParams();
scrapeParams.setFormats(new String[]{"markdown"});
FirecrawlDocument doc = client.scrapeURL("https://firecrawl.dev", scrapeParams);
System.out.println(doc.getMarkdown());

// 使用智能体进行自主数据收集
AgentParams agentParams = new AgentParams("Find the founders of Stripe");
AgentResponse start = client.createAgent(agentParams);
AgentStatusResponse result = client.getAgentStatus(start.getId());
System.out.println(result.getData());

// 爬取网站（轮询直到完成）
CrawlParams crawlParams = new CrawlParams();
crawlParams.setLimit(50);
CrawlStatusResponse job = client.crawlURL("https://docs.firecrawl.dev", crawlParams, null, 10);
for (FirecrawlDocument page : job.getData()) {
    System.out.println(page.getMetadata().get("sourceURL"));
}

Elixir

添加依赖：

def deps do
[
{:firecrawl, "~> 1.0"}
]
end

# 抓取URL
{:ok, response} = Firecrawl.scrape_and_extract_from_url(
url: "https://firecrawl.dev",
formats: ["markdown"]
)

# 爬取网站
{:ok, response} = Firecrawl.crawl_urls(
url: "https://docs.firecrawl.dev",
limit: 50
)

# 搜索网络
{:ok, response} = Firecrawl.search_and_scrape(
query: "best AI data tools 2024",
limit: 10
)

# 映射URL
{:ok, response} = Firecrawl.map_urls(url: "https://example.com")

Rust

添加依赖：

[dependencies]
firecrawl = "2"
tokio = { version = "1", features = ["macros", "rt-multi-thread"] }

use firecrawl::{Client, ScrapeOptions, Format, CrawlOptions};

#[tokio::main]
async fn main() -> Result<(), Box<dyn std::error::Error>> {
let client = Client::new("fc-YOUR_API_KEY")?;

// 抓取URL
let document = client.scrape("https://firecrawl.dev", None).await?;
println!("{:?}", document.markdown);

// 爬取网站
let options = CrawlOptions {
limit: Some(50),
..Default::default()
};
let result = client.crawl("https://docs.firecrawl.dev", options).await?;
println!("Crawled {} pages", result.data.len());

// 搜索网络
let response = client.search("best web scraping tools 2024", None).await?;
println!("{:?}", response.data);

Ok(())
}

社区SDK

• https://github.com/firecrawl/firecrawl/tree/main/apps/go-sdk

---

集成

智能体与AI工具

• Firecrawl Skill
• https://github.com/firecrawl/cli#agent-skills
• https://github.com/firecrawl/firecrawl-workflows
• https://github.com/mendableai/firecrawl-mcp-server

平台

• Lovable
• Zapier
• n8n

查看所有集成 →

---

资源

• 文档
• API 参考
• Playground
• 更新日志

---

开源版与云版

Firecrawl 基于 AGPL-3.0 许可证开源。firecrawl.dev 上的云版包含额外功能：

要在本地运行，请参阅 https://github.com/firecrawl/firecrawl/blob/main/CONTRIBUTING.md%E3%80%82%E8%A6%81%E8%87%AA%E6%89%98%E7%AE%A1%EF%BC%8C%E8%AF%B7%E5%8F%82%E9%98%85 自托管指南。

---

贡献

贡献者

---

许可证

本项目主要采用 GNU Affero General Public License v3.0 (AGPL-3.0) 许可证。SDK 和部分 UI 组件采用 MIT 许可证。有关详细信息，请参阅特定目录中的 LICENSE 文件。

---

最终用户在抓取时遵守网站政策是其唯一责任。建议用户遵守适用的隐私政策和使用条款。默认情况下，Firecrawl 尊重 robots.txt 指令。使用 Firecrawl 即表示您同意遵守这些条件。

↑ 返回顶部 ↑