오픈소스 · ★ GitHub 별 191,296 (2026-10-14 기준)
firecrawl
Firecrawl은 웹페이지를 검색·수집해 LLM이 쓰기 좋은 데이터로 바꿔 주는 API다.
소개
Firecrawl은 AI 에이전트와 앱이 웹 데이터를 찾고 읽고 다룰 수 있게 해 주는 웹 데이터 API다. 오픈소스로 공개되어 있고 호스팅 서비스로도 쓸 수 있다.
Search, Scrape, Interact를 핵심으로 Crawl, Map, Batch Scrape, Agent 기능을 제공하며 결과를 마크다운, 구조화된 JSON, 스크린샷 등으로 돌려준다. 프록시 교체, 요청 제한, JavaScript가 많은 페이지 처리를 대신 맡고, 웹에 올라온 PDF·DOCX도 파싱한다. MCP나 CLI로 AI 에이전트에 바로 연결할 수 있다.
RAG나 에이전트에 최신 웹 정보를 넣어야 하는 개발자에게 맞는다.
이런 데 씁니다
- 웹을 검색하고 결과 페이지의 전체 내용을 받아 온다.
- URL을 마크다운이나 구조화된 JSON으로 바꿔 LLM 입력으로 쓴다.
- 웹사이트 전체를 크롤링하거나 사이트의 URL 목록을 찾는다.
- 페이지를 클릭·스크롤·입력하며 다룬 뒤 내용을 뽑는다.
- MCP로 AI 에이전트에 웹 검색·수집 도구를 붙인다.
가격·라이선스
오픈소스, 호스팅 서비스는 무료로 시작 가능(요금은 공식 사이트 확인)
시작하기
- firecrawl.dev에 가입해 API 키를 받는다.
- playground에서 먼저 동작을 확인한다.
- pip install firecrawl-py로 Python SDK를 설치하고 API 키로 scrape나 search를 호출한다.
- 에이전트에 연결하려면 npx -y firecrawl-cli@latest init --all --browser를 실행한다.
링크
관련 용어·기업
출처
공개 자료(공식 페이지·README)를 근거로 정리했습니다. 가격·기능은 바뀔 수 있으니 공식 사이트에서 확인하세요.