Posts

Showing posts from June, 2020

【资源分享】一周整理的,这是价值10W的32个Python项目

今天为大家整理了32个Python爬虫项目。 整理的原因是,爬虫入门简单快速,也非常适合新入门的小伙伴培养信心。所有链接指向GitHub,祝大家玩得愉快~ QQ空间爬虫,包括日志、说说、个人信息等,一天可抓取 400 万条数据。 https:// github.com/LiuXingMing/ QQSpider WechatSogou 微信公众号爬虫: https:// github.com/Chyroc/Wecha tSogou DouBanSpider 豆瓣读书爬虫: ​ https:// github.com/lanbing510/D ouBanSpider 知乎爬虫: https:// github.com/LiuRoy/zhihu _spider B站爬虫: ​ https:// github.com/airingursb/b ilibili-user SinaSpider 新浪微博爬虫: ​ https:// github.com/LiuXingMing/ SinaSpider distribute_crawler 小说下载分布式爬虫: https:// github.com/gnemoug/dist ribute_crawler CnkiSpider 中国知网爬虫。设置检索条件后,执行src/CnkiSpider.py抓取数据,抓取数据存储在/data目录下,每个数据文件的第一行为字段名称。 https:// github.com/yanzhou/Cnki Spider LianJiaSpider 链家网爬虫。爬取北京地区链家历年二手房成交记录。涵盖链家爬虫一文的全部代码,包括链家模拟登录代码。 https:// github.com/lanbing510/L ianJiaSpider scrapy_jingdong 京东爬虫。基于scrapy的京东网站爬虫,保存格式为csv。 https:// github.com/taizilongxu/ scrapy_jingdong QQ-Groups-Spider QQ 群爬虫。批量抓取 QQ 群信息,包括群名称、群号、群人数、群主、群简介等内容,最终生成 XLS(X) / CSV 结果文件。 https:// github.com/caspartse/QQ -Groups-Spider wooyun_pub