值得每一个学Python爬虫的人，反思的项目总结

菜鸟学Python的第148篇原创文章

阅读本文大概需要3分钟

1.先说一下分析的结果：

目前爬取的是拉勾网的数据：全国Python职位为1689,全国Java职位为4987个，Python那么火爆，怎么只有只有三分之一！于是我仔细看了一下近1700多职位：

Python这1700左右的职位主要是web开发，自动化运维，爬虫工程师等等。Python的主流可不单单是web开发！人工智能才是大餐，于是我又爬取了机器学习，数据挖掘,数据分析等等和Python相关的职位:

机器学习：全国有744职位

数据挖掘：全国有1190职位

数据分析：全国有3113职位

综合来看:Python  VS Java ,从数量上看Java还是占优势，当然我们的数据分析是在第三期展开，会深度从多个维度进行对比分析。

也许有的时候结果并不是最重要的，下面来看一下这个爬虫项目的反思，过程有的时候比结果更重要，更值得细细体会！

2.爬虫项目的分析

一个数据分析的过程，一般分几步，数据的爬取->数据的清洗->数据的存储->数据可视化分析->再深一点就是数据挖掘！

用到的知识其实非常多，我们一共分了3期走:

• 第一期是爬取

• 第二期是存储

• 第三期是数据可视化

非常有趣的一个项目，至少我自己是很感兴趣的，过去的2周一共10名同学一起参加了这个活动。上一期的项目介绍可以看这篇(Python武功如何快速进阶)

1).安装环境和工具的准备

工欲善其事，必先利其器！第一步是安装环境，推荐Pycharm,当然有人喜欢用sublime,Atom等等都可以，你自己用的顺手就可以了！爬虫用的库可以有很多选择，我们主推requests,解析的库用bs4,xpath,pyquery这些都可以,看你自己用的爽，用的熟练就行！

2).目标网站的分析

这次群里还请到了一位爬虫高手阿蔡的加入，以前一直玩爬虫的。加入了我们的实战群指点大家，拉勾的网站非常熟悉，我们可以有两种方法去爬取

• 手机网站的爬取，手机站点会容易很多，简单分析之后就可以得到网站的数据，几行代码就可以获取的json格式的职位数据集

• PC网站的爬取，PC端会稍微复杂一些，因为数据是动态加载的，仔细的分析http请求内容，也很快可以找到入口

3).数据的解析

因为我们返回的是json数据，非常好分析，建议可以用pprint这款神器库先打印一下，找到我们要的职位的数据！

手机端的数据长这样:

 {'city': '上海',

  'company_full_names': '拉扎斯网络科技（上海）有限公司',

  'company_name': '饿了么',

  'create_time': '2018-03-20',

  'positionId': 2779439,

  'positionName': 'Python开发工程师（全栈）',

  'salary': '15k-25k'}

PC端的数据会稍微丰富一些，长这样:

{

 'businessZones': ['东四', '美术馆', '北新桥'],

 'city': '北京',

 'companyFullName': '凡普金科企业发展（上海）有限公司',

 'companyLabelList': ['年底双薪', '节日礼物', '技能培训', '带薪年假'],

 'createTime': '2018-03-22 10:41:03',

 'education': '本科',

 'linestaion': '5号线_东四;5号线_张自忠路;5号线_北新桥;6号线_东四;6号线_南锣鼓巷',

 'positionName': 'Python工程师',

 'salary': '25k-35k',

 'secondType': '后端开发'}

解析字典的时候会区分一下，然后获取总的页数，一般解析第一页就可以看到页数.然后进行循环爬取，进行解析。比如我们要获取职位的名称，职位的公司，职位的薪水，职位的城市和发布日期，这几个特征值，然后保存在一个字典列表里面即可！

4).数据的保存

常见的数据的保存我们一般用csv和json文件保存，csv文件一般都是先写一个头部，然后再把上面的字典列表数据一行一行存储在里面.json文件更方便了， 我们直接建一个文件dump一下就可以保存了

上面走一遍，感觉是不是很容易啊！如果你只看到这里，那么你离进阶又失之交臂了！

2.技术的反思

1).单线程to多线程

• 上面的爬取都是单线程的爬取，职位不是很多，如果几万或者几十万的数据呢！你顺序爬取，很显然太慢，需要考虑并发！

• 并发有多进程，多线程，线程池，或者用协程并发，前面我写过一篇文章叫(Python高手进阶|实战4大并发秘籍)

2).断点续爬

上面的爬取没有考虑异常情况，如果爬取的过程出错了！怎么办，你需要重头爬取，不是一个明智之举，如何断点续传呢：

• 比较常用的做法是保存文件，然后续爬的时候，先检测文件是否存在，如果存在查一下职位的id是否已经在文件中，不在则爬，在则跳过爬下一个！

• 那有没有更好的办法呢，阿蔡建议用Redis来处理，一个牛逼的非常快速的内存数据库，爬取的时候只要监听 redis数据,思路类似上面的文件爬取.

3).增量爬取

我们的爬取都是当天的数据，如何考虑增量爬取,我们首先要对日期进行处理！拉勾上的职位很多发布日期都是相对时间，比如今天12:10，昨天8：00，如果考虑时间序列的增量，必须要把这些相对时间在爬取的时候，做数据清洗！

3.细节的推敲

• 比如我们保存多个爬取的数据的时候，是用列表存储，还是用双向列表！

• 构建一个字典的时候，如果获取的数据的值为空，比如薪资异常，有没有考虑到用缺省字典

• 我们爬取的时候，有没有考虑异常处理，如果出现了403反爬，是否用了随机代理和构建一个代理池来处理

• 循环保存的时候，要不要用yield迭代器会不会更快一点

当然这些是我想到的一部分，也许还有更多的细节需要推敲和挖掘，把代码写的更好更美,好的代码应该是改出来的，需要不断的重构。

4.兴趣是最大的动力

2周的训练，能坚持下来的并不多，最后交卷的只有四层左右，虽然是一个很小的实战项目！但是在前进的过程中，很多时候会被途中的风景所吸引而忘记了赶路，或者是走到了一般遇到了一些问题和障碍，不一定会坚持越过山丘! 一件事情能否做到底，取决于你对成功的欲望有多强烈，你越渴望成功，你的目标非常清晰，越容易坚持！

好了，我们下一期的数据存储实战群，马上要开始了，这次主要从3种数据库里面选Sqlite3,Mysql,Mongodb任选一种完成！等你来挑战自己，完成的源码我也会在小密圈公布！

师傅领进门，修行靠自身，这个活动是针对小密圈的同学开放，需要参加的同学需要加入小密圈，不建议零基础的参加，当然如果零基础的同学想挑战一下也是可以的！

你觉得这个活动好的话，也可以邀请同学一起，小密圈也开通了分享有赏的活动！一个人学有的时候是枯燥，大家一起学会加速你的进步，遇到问题可以一起商量，也许别人的一句话会帮你少走很多弯路.

有兴趣的同学

可以扫码加入小密圈

推荐阅读：

帮你赚到第一桶金的Python代码

这8道Python面试题，你答不答的出来

太好玩了！用Python写个弹球游戏2.0

Python武功如何快速进阶

2017年度电影榜单出炉

双十二来了，我爬取了淘宝上所有的羽绒服

5分钟带你了解Python2和3的区别|从此不再纠结

本篇文章来源于: 菜鸟学Python