【资源分享】一周整理的，这是价值10W的32个Python项目

今天为大家整理了32个Python爬虫项目。

整理的原因是，爬虫入门简单快速，也非常适合新入门的小伙伴培养信心。所有链接指向GitHub，祝大家玩得愉快~

QQ空间爬虫，包括日志、说说、个人信息等，一天可抓取 400 万条数据。
github.com/LiuXingMing/
WechatSogou

微信公众号爬虫：

github.com/Chyroc/Wecha
DouBanSpider

豆瓣读书爬虫：

​

github.com/lanbing510/D

知乎爬虫：

github.com/LiuRoy/zhihu

B站爬虫：

​

github.com/airingursb/b
SinaSpider

新浪微博爬虫：
​

github.com/LiuXingMing/
distribute_crawler

小说下载分布式爬虫：

github.com/gnemoug/dist
CnkiSpider
中国知网爬虫。设置检索条件后，执行src/CnkiSpider.py抓取数据，抓取数据存储在/data目录下，每个数据文件的第一行为字段名称。
github.com/yanzhou/Cnki
LianJiaSpider
链家网爬虫。爬取北京地区链家历年二手房成交记录。涵盖链家爬虫一文的全部代码，包括链家模拟登录代码。
github.com/lanbing510/L
scrapy_jingdong
京东爬虫。基于scrapy的京东网站爬虫，保存格式为csv。
github.com/taizilongxu/
QQ-Groups-Spider
QQ 群爬虫。批量抓取 QQ 群信息，包括群名称、群号、群人数、群主、群简介等内容，最终生成 XLS(X) / CSV 结果文件。
github.com/caspartse/QQ
wooyun_public
乌云爬虫。乌云公开漏洞、知识库爬虫和搜索。全部公开漏洞的列表和每个漏洞的文本内容存在MongoDB中，大概约2G内容；如果整站爬全部文本和图片作为离线查询，大概需要10G空间、2小时（10M电信带宽）；爬取全部知识库，总共约500M空间。漏洞搜索使用了Flask作为web server，bootstrap作为前端。
github.com/hanc00l/wooy
spider
hao123网站爬虫。以hao123为入口页面，滚动爬取外链，收集网址，并记录网址上的内链和外链数目，记录title等信息，windows7 32位上测试，目前每24个小时，可收集数据为10万左右。
github.com/simapple/spi
findtrip
机票爬虫（去哪儿和携程网）。Findtrip是一个基于Scrapy的机票爬虫，目前整合了国内两大机票网站（去哪儿 + 携程）。
github.com/fankcoder/fi
163spider
基于requests、MySQLdb、torndb的网易客户端内容爬虫。
github.com/leyle/163spi
doubanspiders
豆瓣电影、书籍、小组、相册、东西等爬虫集。
github.com/fanpei91/dou
baidu-music-spider
百度mp3全站爬虫，使用redis支持断点续传。
github.com/Shu-Ji/baidu
tbcrawler
淘宝和天猫的爬虫,可以根据搜索关键词,物品id来抓去页面的信息，数据存储在MongoDB。
github.com/pakoo/tbcraw
stockholm
一个股票数据（沪深）爬虫和选股策略测试框架。根据选定的日期范围抓取所有沪深两市股票的行情数据。支持使用表达式定义选股策略。支持多线程处理。保存数据到JSON文件、CSV文件。
github.com/benitoro/sto
BaiduyunSpider
百度云盘爬虫。
github.com/k1995/Baiduy
Spider
社交数据爬虫。支持微博，知乎，豆瓣。
github.com/Qutan/Spider
proxy pool
Python爬虫代理IP池(proxy pool)。
github.com/jhao104/prox
music-163
爬取网易云音乐所有歌曲的评论。
github.com/RitterHou/mu
jandan_spider
爬取煎蛋妹纸图片。
github.com/kulovecc/jan
CnblogsSpider
Cnblogs列表页爬虫。
github.com/jackgitgz/Cn
spider_smooc
爬取慕课网视频。
github.com/qiyeboy/spid
CnkiSpider
中国知网爬虫。
github.com/yanzhou/Cnki
knowsecSpider2
知道创宇爬虫题目。
github.com/littlethunde
aiss-spider
爱丝APP图片爬虫。
github.com/x-spiders/ai
SinaSpider
动态IP解决新浪的反爬虫机制，快速抓取内容。
github.com/szcf-weiya/S
csdn-spider
爬取CSDN上的博客文章。
github.com/Kevinsss/csd
ProxySpider
爬取西刺上的代理IP，并验证代理可用性。
github.com/changetjut/P

成长离不开与优秀的伙伴共同学习，如果你需要好的学习环境，好的学习资源，项目教程，零基础学习，这里欢迎每一位热爱Python的小伙伴，点击：Python学习圈

Comments

Post a Comment

Popular posts from this blog

到德国开公司你必须要知道这些

可以通过开公司移民德国吗？ 可以。各种移民德国的方式中，以开公司获取法人签证进而移民的方式最为常见。2005 年 1 月 1 日德 国历史上首部《移民法》宣布生效，这表明德国已经承认自己成为移民国家。如果您成立的公司对当 地经济发展有利，德国政府一定是允许并欢迎的。 投资德国有哪些优势？ - 安全的投资环境德国拥有十分稳定透明的法律环境，稳固的法典和有效的执法制度，这为投资者构建了完善的经 济和政治框架，为您的投资业务提供安全可靠的法律保障。 - 便捷高效的投资流程 与动辄几百万的资金投入，历时几年冻结时间的其他国家的投资移民项目相比，在德注册公司具 有投资小，风险低，办理周期短的优势。最低投资额只需 2.5 万欧元（公司注册成功，这笔资金 即可自由支配）。 - 树立企业形象 提高国际竞争力 “德国制造”不仅以其过硬的产品质量在全球享有盛誉，且在众多行业都有领先的技术实力。这 使在德投资拥有广泛选择空间，便于投资者利用德国高质量的技术人才和一流的基础设施，且有 利于获得更先进的管理技术和生产经验。这有一方面助于企业在中国市场树立可靠的品牌形象， 另一方面有利于企业赢得欧盟客户信任，迅速提升国际声誉，增强企业在国际市场上的竞争力。 - 投资移民 绿卡入籍 德国是一个开放、宽容、卓有见识的国家，它以其环境优美、较高的生活标准及先进的医疗和教 育体系享誉全球。而德国的移民政策相比其他欧美发达国家却并不是那么严苛，申请德国移民无 需阐明资金来源，无需全球纳税，对申请人也没有过多的学历、语言、年龄方面的要求。持长久 居留签证 3-5 年后即可获得德国无限期居留权（绿卡），获得绿卡 3-5 年后即可申请加入德国国籍。 拿到德国绿卡后便可通行欧洲，到欧盟境内任何申根国旅行工作或居住生活。 - 家庭团聚 享受高品质生活 在投资人成功办理法人签证之后，其家人（限配偶及子女）便可以办理家庭团聚签证，赴德国工 作、学习和生活。法人签持有者的子女到德国之后将与德国孩子一样享受免费的义务教育。除此 之外，在德国全家还将享受到世界一流的医疗福利保障体系，免费就医，免费治疗。此外，德国 作为一个高福利国家，还有很多其他福利，如购房补贴，未成年子女补贴等。 计划在德国成立公司的华人关心在德国的运营公司成本，我们以一家位于杜塞尔多夫，注册资金为250
Read more

[其他] 中国人如何在德国成立公司以及新公司经营

一、选择公司形式 在德国，公司一般说有如下几个形式 （一）个体企业人（ Gewerbetrieb ） 又分为注册商人 (Kaufmann) ，自由职业者 (Freiberufler) ，手工业者 (Handwerkerbetrieb) 。一般来说，就是中国的小商小贩 ( 有点难听 )  或个体户 ( 好听一点 ) ，在德国有些个体户很富有。对于尚未拿到居留的中国人，几乎可以放弃。 （二）人员组合公司（ Personengesellschaft ） 人员组合公司（以下简称人合公司）系指一个或数个以其全部资产对公司的债权人承担无限责任的自然人以个人名义注册成立并出任老板或股东的公司，主要有两合公司（ Kommanditgesellschaft ， KG ）、无限贸易公司（ Offene Handelsgesellschaft ， OHG ）等。这些公司多为战前及战后初期成立的家族企业，由于要以全部个人资产承担无限责任，人合公司这一初级公司形式已不符合现代经济的发展趋势。对于一般中国人来说，还没有居留身份和很多资产，公司失败责任会追究至个人资产，可以放弃这一形式。 （三）资本组合公司（ Kapitalgesellschaft ） 资本组合公司（以下简称资合公司）系指一个或数个以达到法律规定的最低注册资金做资本金的自然人或法人注册成立的公司，其中又分有限责任公司（ Gesellschaft mit beschraenkter Haftung ， GmbH ）和股份公司（ Aktiengesellschaft ， AG ）这两种基本形式，即国内通常所说的现代企业制度的基本模式。 　　 1. 有限责任公司 (GmbH) 　　有限责任公司的最低注册资本（ Stammkapital ）现为 2.5 万欧元，并以此承担相应的责任，个人财产排除在公司债务之外。公司可以由一个或数个股东设立。注册资本的出资可以用资金和实物，每股最低出资为 100 欧元，股金的面值为 50 欧元，股东的出资为 50 欧元的倍数。任何股东不得在公司登记时认缴多份基本出资。如果以实物出资，则必须在公司章程中载明实物出资标的及其作价金额。德国公司的内部管理建制不同于美国和中国，董事长即为首席执行官（ CEO ），不另设总经理。有限责任公司的董事长即总经理或总裁，德文称作 Vorsitzender der Gesc
Read more

李鹏身世疑云

Image
李鹏病故，但关于的身世的疑问并不因为其去世而消失。 按官方信息，李鹏是烈士李硕勋之子。对于李硕勋，最可靠的证明文件来自朱德手书：“李陶（即李硕勋同志），生于四川庆符，中国大革命时的共产党员。曾参加一九二七年的八一南昌起义，进兵东江，后奉党命调广东工作，赴琼崖策划游击战争，不幸为反革命当局捕杀。硕勋同志临死不屈，从容就义，是人民的坚强战士，党的优秀党员。他对革命的功绩永垂不朽！ 朱德　志于北京　一九五O年十一月十一日” 朱德写这份文件，并非在李死的当时，而是李的妻子赵君陶在解放后，也就是李死后二十年，拿着李临刑前写给妻子的“与妻书”，找朱德求取reference时写的，而且是孤证。顾也找过郭沫若，聂荣臻等81起义参与者，都没得到明确证明书，而蹊跷的是，顾没找周恩来 。 李的遗嘱全文如下：““陶：余在琼已直认不讳，日内恐即将判决，余亦即将与你们长别。在前方，在后方，日死若干人，余亦其中之一耳。死后勿为我过悲，惟望善育吾儿。你宜设法送之返家中，你亦努力谋自立为要。死后尸总会收的，绝不许来，千嘱万嘱。勋 九·十四”。很多人把此”与妻书“和辛亥烈士林觉民的混淆了，李硕勋没那么有名，其遗书也写得聊聊数字。但就是这聊聊数字中，有了漏洞被人可转：“吾儿”无名字，日期缺年份。按朱德证明，李时1927年被捕的，书时应当是1927-9-14， 而李鹏是1928年10月出生的，李硕勋不太可能在14月前预测到”吾儿“。 李鹏既声称是烈士李硕勋的儿子，但1985年12月14日母亲赵君陶在北京病逝前，她和李硕勋的名字均与媒体无缘。赵君陶不仅无缘媒体，直到临终都不能见儿子一面。她的儿子可是大名鼎鼎的李鹏，时任国务院副总理。身在北京的李鹏再日理万机，也不至于腾不出这么点时间来啊，再铁石心肠，也不至于如此绝情吧？七年后邓颖超临终时，李鹏可是床前孝子。邓颖超最后叫的名字是“李鹏！”邓颖超不仅养育了李鹏，还把他扶上了总理宝座，若不是邓颖超挨门挨户为李鹏说情，凭他李鹏那本事，能当上总理？ 1987年11月1日李鹏晋升代总理，新华社报道了他的家世。李鹏这时急不可耐地要求新华社将父亲李硕勋的卒年由1927年9月改为1931年9月。1928年10月出生的李鹏当然不会是一个13个月之前死了的人的儿子，莫非朱德和赵君陶都糊涂了，还是遗嘱里的“吾儿”另有其人？ 党史记载，这个李硕勋
Read more