Colly gocolly

gocolly colly ¶

Colly 是一款针对 Go 语言的快速、优雅的网络爬虫框架。它提供简洁 API 用于编写爬虫、数据抓取器或网络蜘蛛，能够从网站提取结构化数据，适用于数据挖掘、处理和归档。主要功能包括：支持同步、异步及并行抓取；自动管理 Cookie 和会话；控制请求延迟与并发度；内置缓存及非 Unicode 响应编码处理；遵守 Robots.txt 协议；支持分布式抓取、环境变量配置及扩展。