laosj 图片爬虫/下载器 laosj

songtianyi2017-04-16 11:08:03 • 18688 次点击    
这是一个分享于 2017-04-16 11:08:03 的项目,其中的信息可能已经有所发展或是发生改变。

基于goquery的轻量级爬虫, 图片下载器支持分布式, 可以自定义下载并发量。'

Releases mzitu 爬取mzitu.com/taiwan (图片下载依赖redis作为url队列) mzituzp 爬取mzitu.com/share (图片下载依赖redis作为url队列) aiss-darwin 根据接口下载爱丝图片(依赖redis作为url队列) jav 获取番号列表及根据番号获取种子文件 (无依赖) douban-group 抓取并下载豆瓣小组图片(依赖redis作为url队列)

golang light-weight image crawlerRead More

Latest commit to the master branch on 9-9-2018
Download as zip
授权协议:
开发语言:
go 查看源码»
操作系统:
All
18688 次点击  
加入收藏 微博
1 回复  |  直到
382708580
382708580 · #1 · 8年之前

666

添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传