开源 · ★ GitHub 星标 191,296 (截至 2026-10-14)
firecrawl
Firecrawl 是一个 API,可搜索和采集网页,并将其转换为便于 LLM 使用的数据。
简介
Firecrawl 是一个网页数据 API,让 AI 智能体和应用能够查找、读取和操作网页数据。它已开源,也可以作为托管服务使用。
以 Search、Scrape、Interact 为核心,提供 Crawl、Map、Batch Scrape、Agent 功能,并以 Markdown、结构化 JSON、截图等形式返回结果。它代为处理代理轮换、请求限流以及 JavaScript 较多的页面,还能解析网上的 PDF 和 DOCX。可通过 MCP 或 CLI 直接连接 AI 智能体。
适合需要向 RAG 或智能体提供最新网页信息的开发者。
用途
- 搜索网页并获取结果页面的完整内容。
- 将 URL 转换为 Markdown 或结构化 JSON,用作 LLM 输入。
- 爬取整个网站,或查找网站的 URL 列表。
- 通过点击、滚动、输入等方式操作页面后提取内容。
- 通过 MCP 为 AI 智能体接入网页搜索和采集工具。
价格与许可
开源,托管服务可免费开始使用(价格请查看官网)
快速上手
- 在 firecrawl.dev 注册并获取 API 密钥。
- 先在 playground 中确认运行效果。
- 用 pip install firecrawl-py 安装 Python SDK,并用 API 密钥调用 scrape 或 search。
- 如需连接智能体,运行 npx -y firecrawl-cli@latest init --all --browser。
链接
相关术语与企业
来源
根据公开资料(官方页面、README)整理。价格和功能可能变化,请以官方网站为准。