基于Colly的本子爬虫

Youngkingman · · 1871 次点击 · · 开始浏览    
这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。

使用`colly`进行了以下爬虫的制作,主要爬了一些漫画,尽管框架内实现了并发但是直接使用框架的并发可能导致图片获取顺序的混乱,使用生产消费者模型构造了一套并发框架。地址 https://github.com/Youngkingman/gentlemanSpider

有疑问加站长微信联系(非本文作者))

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

1871 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传