weiboSpider
项目核心内容总结:
Weibo Spider 是一个用于爬取微博用户信息及微博内容的工具,支持通过 Cookie 或 User ID 登录验证。主要功能包括:
- 数据爬取:获取用户昵称、性别、所在地、微博内容(含原创与转发)、图片链接、点赞/转发/评论数、发布位置及工具等详细信息;
- 自动化更新:支持定期爬取新增微博内容,避免重复抓取已获取数据;
- 使用方法:需先获取 Cookie 和 User ID(提供文档指导),通过配置文件设置参数后运行;
- 特性:支持过滤原创微博、多线程爬取、数据导出为列表结构,且提供丰富文档(含常见问题、学术研究案例等);
- 注意事项:不可用自身微博账号爬取数据,Cookie 有效期约3个月,需定期更新。
项目适用于非商业研究场景,提供开源贡献渠道,并与同类工具(如 weibo-crawler、weibo-search)形成互补。