Github
地址:https://github.com/JasonJe/memos/tree/master/jobs_data_analysis
爬取
爬取程序为crawl.py
直接运行即可进行爬取,python3 ./crawl.py
。
- 说明:爬取的招聘网站为拉勾网,其职位详情页有反爬策略,即单个
cookies
不可连续获取2
次详情页内容,这里使用代理请求首页来更新cookies
,保证正常的详情页爬取。
数据可视化
可视化文档为data_analysis.ipynb
数据分析 & 可视化:
- 职位关键词
Top 10
![](https://static.studygolang.com/191028/efa473afba0e63f308c6e4843b2147ed.png)
-
HR
活跃时间分布
![](https://static.studygolang.com/191028/03a602e805603136a0715c0a2fcd4fe3.png)
通过分析HR
的活跃时间,可以知道在大概早上09:00 ~ 11:00
和下午14:00 ~ 18:00
这两个时间段进行简历投递会比较好。
- 工作年限要求比例
![](https://static.studygolang.com/191028/6e35cbbd14d9fd9e2b4a59a7580f4c88.png)
大部分企业需要的是工作经验为1 ~ 3年
或者3 ~ 5年
的求职者,其中需要工作经验3 ~ 5
年的需求最大。
- 平均月薪
![](https://static.studygolang.com/191028/d822f526b839f182587bdfbd355e4fa0.png)
在工作年限要求的角度下,这里统计得到的平均最低薪酬:15978.65
,平均最高薪酬:28998.44
。
可以看出,薪酬随着工作经验的增加也是水涨船高。
1 ~ 3年
经验的求职者平均最低月薪为12k
以上,最低平均最高月薪为20k
以上;3 ~ 5年
经验的求职者平均最低月薪为16k
以上,最低平均最高月薪为28k
以上。
- 学历要求比例
![](https://static.studygolang.com/191028/b54c5772f29983c3d58afddc67164991.png)
- 平均月薪
![](https://static.studygolang.com/191028/bbf32d9adca75564523bd62599dc0dbb.png)
在学历要求要求的角度下,这里统计得到的平均最低薪酬:16114.64
,平均最高薪酬:29445.84
。
- 公司规模比例
![](https://static.studygolang.com/191028/98688812dc8c8dd6c73a0634582880df.png)
- 融资情况比例
![](https://static.studygolang.com/191028/a7a73c3768e11d6ba9103e1154a11d10.png)
- 融资情况与公司规模
![](https://static.studygolang.com/191028/ae6db29c4ed63d497c95dece4e1c3921.png)
这张图展现了不同融资阶段的公司规模。
- 招聘地区分布
![](https://static.studygolang.com/191028/61ed8ae464c616f27a4b5076d54e37d0.png)
可以看出,主要的公司位置集中在南山
,福田
,宝安
这三个区。
- 技能词云
![](https://static.studygolang.com/191028/c83b817983bcab74b9984a65ace16562.png)
- 职位详情
这里对爬取到的职位描述进行了分词,提取其中出现的关键词,并做相关的统计。
- 中文关键字
Top 20
- 中文关键字
![](https://static.studygolang.com/191028/264d18909f11d19f0fcc404e063bab75.png)
从上面的关键词Top20
可以看出,所招聘的职位更加强调的是技能的把握、熟悉程度,以及工作经验、能力等。
- 英文关键字
Top 50
- 英文关键字
![](https://static.studygolang.com/191028/4d3e2994127ce53a86421b6dbbc7e135.png)
这张图大致展示了职位需要大概掌握的技能,职位更加强调数据库、缓存、Linux
、网络TCP
、Web
等的掌握程度。
而就Python后端
而言,有些职位可能不仅仅要求掌握Python
这门语言,还会要求掌握Java
,Golang
,C/C++
等多门语言。
有疑问加站长微信联系(非本文作者)
![](https://static.golangjob.cn/static/img/footer.png?imageView2/2/w/280)