### 由来
一直用[scrapy](https://github.com/scrapy/scrapy)抓数据,scrapy的分布式部署,需要⼈人⼯工分配抓取链接。
所以参考scrapy的爬⾍虫架构和[elasticsearch](https://github.com/elastic/elasticsearch)的分布式架构。
编写了分布式的爬⾍虫[ants](https://github.com/wcong/ants-go),
目前是alpha,欢迎大家来试用
### 功能
* 分布式:master分配request给各个node,node将抓取的结果,产⽣生的新request返回给master node
* web api:提供json格式的web api,开启爬⾍虫任务,查看cluster,爬⾍虫状态
* 定制爬⾍虫:⽤用户⾃自定义抓取规则,使⽤用goquery解析html