Crawlab crawlab team

crawlab-team crawlab ¶

Crawlab 是一个基于 Golang 的分布式爬虫管理平台，支持 Python、NodeJS、Go、Java、PHP 等多种编程语言及 Scrapy、Puppeteer、Selenium 等主流框架。系统采用 Master 节点、Worker 节点、MongoDB 数据库和 SeaweedFS 分布式文件系统架构，支持水平扩展。主要功能包括任务调度、爬虫部署与配置、节点管理、任务执行监控、日志查看、定时任务及结果导出。相比仅支持 Scrapy 的其他平台，Crawlab 兼容任何语言框架，提供美观的 Web 界面，支持通过 Docker Compose 快速部署及 SDK 集成。