Skip to content

weiboSpider

项目核心内容总结:
Weibo Spider 是一个用于爬取微博用户信息及微博内容的工具,支持通过 Cookie 或 User ID 登录验证。主要功能包括:

  1. 数据爬取:获取用户昵称、性别、所在地、微博内容(含原创与转发)、图片链接、点赞/转发/评论数、发布位置及工具等详细信息;
  2. 自动化更新:支持定期爬取新增微博内容,避免重复抓取已获取数据;
  3. 使用方法:需先获取 Cookie 和 User ID(提供文档指导),通过配置文件设置参数后运行;
  4. 特性:支持过滤原创微博、多线程爬取、数据导出为列表结构,且提供丰富文档(含常见问题、学术研究案例等);
  5. 注意事项:不可用自身微博账号爬取数据,Cookie 有效期约3个月,需定期更新。

项目适用于非商业研究场景,提供开源贡献渠道,并与同类工具(如 weibo-crawler、weibo-search)形成互补。