Go开发的分布式爬虫框架 yispider

yispider 是一款分布式爬虫平台，帮助你更好的管理和开发爬虫。 内置一套爬虫定义规则（模版），可使用模版快速定义爬虫，也可当作框架手动开发爬虫 码云地址：https://gitee.com/bilibala/YiSpider github地址：https://github.com/2young2simple/yispider ## 架构 目前框架分为2个部分: #### 1.爬虫部分（spider节点）: 内部结构参考python scrapy...阅读全文