分布式爬虫 ants

### 由来 一直用[scrapy](https://github.com/scrapy/scrapy)抓数据，scrapy的分布式部署,需要⼈人⼯工分配抓取链接。 所以参考scrapy的爬⾍虫架构和[elasticsearch](https://github.com/elastic/elasticsearch)的分布式架构。 编写了分布式的爬⾍虫[ants](https://github.com/wcong/ants-go), 目前是alpha,欢迎大家来试用 ### 功能 * 分布式:master分配request给各个node,node将抓取的结果,产⽣生的新request返回给master node * web api:提供json格式的web api,开启爬⾍虫任务,查看cluster,爬⾍虫状态 * 定制爬⾍虫:⽤用户⾃自定义抓取规则,使⽤用goquery解析html