xbdh收藏

收录了 1 篇文章 · 0 人关注

  • go爬虫框架colly源码以及软件架构分析

    无意中发现了colly,我一直是使用python进行爬虫的, 学习golang的使用, 用go参考scrapy架构写了一个爬虫的框架demo。我一直以为go不适合做爬虫, go的领域是后端服务。然后去搜索了一下colly, 发现还是很流行。 我个人还是比较喜欢爬虫, 网络上的数据就是公开的API, 所以, 爬虫去请求接口获取数据。当然我是遵循君子协议的。 好, 下面进入正题,介绍colly colly介绍 Lightning Fast and Elegant Scraping Framework...