网络爬虫 DenseSpider

本项目 fork 项目[go_spider](http://www.oschina.net/p/go_spider)，github：[https://github.com/hu17889/go_spider](https://github.com/hu17889/go_spider) ，因此项目架构的部分文档可以参考此项目。 同时项目架构、部分思路参考了 python 的经典爬虫scrapy。     基本结构： <pre>Spider模块（主控） Downloader模块（下载器） PageProcesser模块（页面分析） History（Url采集历史记录） Scheduler模块（任务队列） Pipeline模块（结果输出）</pre>     主要Feature: <pre>1. 基于Go语言的并发采集 2. 页面下载、分析、持久化模块化，可自定义扩展 3. 采集日志记录（Mongodb支持） 4. 页面数据自定义存储（Mysql、Mongodb） 5. 深度遍历，同时可自定义深度层次 6. Xpath解析</pre>     主要用于定向采集网站。