DenseSpider 网络爬虫 DenseSpider

blov • 2624 次点击    
这是一个分享于 的项目,其中的信息可能已经有所发展或是发生改变。
本项目 fork 项目[go_spider](http://www.oschina.net/p/go_spider),github:[https://github.com/hu17889/go_spider](https://github.com/hu17889/go_spider) ,因此项目架构的部分文档可以参考此项目。 同时项目架构、部分思路参考了 python 的经典爬虫scrapy。     基本结构: <pre>Spider模块(主控) Downloader模块(下载器) PageProcesser模块(页面分析) History(Url采集历史记录) Scheduler模块(任务队列) Pipeline模块(结果输出)</pre>     主要Feature: <pre>1. 基于Go语言的并发采集 2. 页面下载、分析、持久化模块化,可自定义扩展 3. 采集日志记录(Mongodb支持) 4. 页面数据自定义存储(Mysql、Mongodb) 5. 深度遍历,同时可自定义深度层次 6. Xpath解析</pre>     主要用于定向采集网站。
授权协议:
MPL
开发语言:
Google Go 查看源码»
操作系统:
跨平台
2624 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传