firecrawl
项目核心内容总结：
Firecrawl 是一个用于网络爬虫和数据提取的工具，支持通过 API 或 SDK 进行网站抓取、动态交互、批量处理和结构化数据提取。其主要功能包括：
- 网站抓取： 可抓取网页的 Markdown、HTML 等格式内容。
- 动态交互： 支持在抓取前进行页面操作（如搜索、点击、截图等）。
- 结构化数据提取： 可通过 LLM 提取结构化数据，支持 Pydantic（Python）或 Zod（Node.js）等 schema 定义。
- 批量处理： 支持同时抓取多个 URL。
- SDK 支持： 提供 Python 和 Node.js 的 SDK，简化开发流程。
使用方法：
- API 调用： 通过 REST API 实现网站抓取、爬取、提取等操作。
- SDK 使用： 安装 Python 或 Node.js SDK 后，通过代码调用相关方法完成数据抓取与提取。
主要特性：
- 支持多种数据格式（Markdown、HTML、JSON 等）。
- 提供结构化数据提取能力，支持自定义 schema。
- 支持与动态网页交互（如搜索、点击等）。
- 支持批量抓取多个 URL。
- 提供开源版本及云服务版本，云服务提供更多高级功能。
开源与云服务：
- Firecrawl 开源版本基于 AGPL-3.0 许可证，云服务版本提供更丰富的功能和持续更新。
- 用户需遵守网站的 robots.txt 和相关政策，确保合法合规使用。