Crawlee python apify

apify crawlee-python ¶

Crawlee 是一款 Python 网页抓取和浏览器自动化库，旨在快速构建可靠且能绕过反爬检测的爬虫。它支持基于 HTTP 和浏览器（Playwright）的统一爬取接口，具备自动并行抓取、错误重试、代理轮换及会话管理功能。项目提供持久化的请求队列和多种数据存储方式，支持任务状态持久化以从中断处恢复。基于 Asyncio 实现并含类型提示，易于集成，支持 CLI 快速初始化，也可部署于 Apify 云平台。