Go爬虫高效抓取Boss直聘职位数据

luckRay · · 3123 次点击

#### 用Go实现抓取Boss直聘职位数据。有几个特点 1.实现爬虫更换IP。 2.模拟浏览器,不会识别为爬虫。 3.控制爬取频率，降低被封。 4.多协程爬取,提升效率。 github地址: https://github.com/githubw2015/crawler-boss

阅读全文

查看全部 2 个评论

tablecell

怎么输出每个gorutine的id ?

评论于 2021-07-22 19:10:09

#1

更多评论

wuchenghui

小心被抓

评论于 2021-07-23 18:48:14

#2

X

登录和大家一起探讨吧