爬虫管理平台Crawlab v0.4.1发布(可配置爬虫)

MarvinZhang · · 702 次点击 · · 开始浏览    
这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。

前言

Crawlab是基于Golang的分布式爬虫管理平台,支持Python、NodeJS、Java、Go、PHP等多种编程语言以及多种爬虫框架。

相信已经对 Crawlab 有所了解的同学应该大概了解 Crawlab 是一个爬虫管理平台。如果不理解什么是爬虫管理平台,建议读者先阅读《如何快速搭建实用的爬虫管理平台》。简单来说,爬虫管理平台是一种能够管理爬虫和执行、监控爬虫任务的平台,可以将爬虫操作可视化出来。而 Crawlab 作为一个灵活且强大的爬虫管理平台,从今年 3 月份上线以来,已经收获不少爬虫工程师以及开发者的好评,很多用户已经在企业中部署使用 Crawlab。现在 Crawlab 在 Github 上已经有 3.1k stars,Dockerhub 上有 7.1k pulls。另外,Crawlab 还收到了不少实际用户反馈的建议,在 Github 上已经解决了 122 个 issues,open 的还有 48 个。除了 bug 以外,其中有非常多的建设性意见,包括采用配置文件来配置怕环境、爬虫任务数据导出、更好的文件管理等等。

Crawlab 为什么能受到用户的好评?我们总结下来,主要是 Crawlab 解决了爬虫工程师要管理很多爬虫的痛点。一般爬虫工程师需要查看爬虫任务运行情况,例如错误日志、时间等等,这些 Crawlab 都可以帮他们做到;另外爬虫工程师还需要定时执行任务,而 Crawlab 恰好也有定时任务的功能;此外,Crawlab 是 golang 写的后端,在稳定性上来说是比较强的。我们在调研了用户对 Crawlab 的定位后,发现用户任务 Crawlab 提供的最大价值是便捷性,也就是 Easiness。因此,在本次更新 v0.4.1 (严格意义上来说是 v0.4.0,但这一版有 bug)中 Crawlab 推出了另一个重大功能,可配置爬虫,能够进一步的简化抓取过程。下面我们将着重介绍一下。

可配置爬虫简介

如果是 Crawlab 早期的用户,可能已经对可配置爬虫这个名词不陌生,因为我们在 v0.2.1 中已经开发过这样的功能(详情见《我是如何在3分钟内开发完一个爬虫的》)。只是当时的版本还非常局限,仅仅支持非常简单的配置,而且稳定性也不高,实用性不强,后来就在迁移到 golang 版本的时候移除了。

但由于很多 Crawlab 的用户都在问可配置爬虫,甚至有人在 Github 上提出了这样的 enhancement issue,我们意识到这个需求还是很普遍的。因此,这次版本更新中就将这个功能迁移回来了。但是本次更新的可配置爬虫跟 v0.2.1 版本有很大的不同,虽然同样都是基于 scrapy 框架,但不同的是 v0.4.1 版本相较于老版本来说更强大,更通用。

下面是本次更新的可配置爬虫的截图。

阶段(Stage)、字段(Field)配置

流程图

设置

Spiderfile

简单来说,可配置爬虫就是能够通过不写代码、只配置抓取规则的方式来编写爬虫,一个不复杂的列表+详情页的爬虫很快就写好了,大概 1-5 分钟之内就可以写完。另外 Spiderfile 是 Crawlab 新开发的定义爬虫的方式,旨在让配置爬虫更简单,就跟 Dockerfiledocker-compose.ymlJenkinsfile 等类似,利用配置代码来定义一系列操作,做到 Spider as Code。我们今后的开发将会围绕着 Spiderfile,包括爬虫所需的库、爬虫运行参数、爬虫定时任务等等,都可以在 Spiderfile 中定义,这个我们开发组后续会逐步完善。

可配置爬虫原理

下面,我们将介绍可配置爬虫的一些基本概念。下图是可配置爬虫中各个概念之间的关系。

可配置爬虫包括如下元素:

  • Spiderfile:类似 Dockerfile、Jenkinsfile、docker-compose.yml 文件,是可配置爬虫的 YAML 格式的配置文件,抓取的阶段字段分页等都可以由这个文件配置;
  • 阶段(Stage):可配置爬虫抓取的不同阶段,一个阶段通常对应一个类别页面的抓取过程,例如列表页为一个阶段,详情页为另一个阶段,在 Scrapy 中对应不同的回调函数;一个阶段中可以定义列表选择器和分页选择器以及字段定义;一个阶段中可以通过定义下一阶段,且只能定义一个。
  • 字段(Field):字段其实就是抓取数据的字段,例如标题、URL、价格、描述等等;字段提取规则既可以用 XPath 页可以用 CSS。

Crawlab 的可配置爬虫是基于 Scrapy 的,因此天生支持并发。而且,可配置爬虫完全支持自定义爬虫的一般功能,因此也支持任务调度、任务监控、日志监控、数据分析。其可配置原理是,Crawlab 的可配置爬虫会根据 Spiderfile 的配置规则来生成 scrapy 代码,然后让其像自定义爬虫一样运行。这样来看,可配置爬虫是一种特殊的自定义爬虫,只是其代码是由 Spiderfile 配置文件转译后生成的。

更新详情

0.4.1 (2019-12-13)

Features / Enhancement

  • Spiderfile Optimization. Stages changed from dictionary to array. #358
  • Baidu Tongji Update.

Bug Fixes

  • Unable to display schedule tasks. #353
  • Duplicate node registration. #334

0.4.0 (2019-12-06)

Features / Enhancement

  • Configurable Spider. Allow users to add spiders using Spiderfile to configure crawling rules.
  • Execution Mode. Allow users to select 3 modes for task execution: All Nodes, Selected Nodes and Random.

Bug Fixes

  • Task accidentally killed. #306
  • Documentation fix. #301 #301
  • Direct deploy incompatible with Windows. #288
  • Log files lost. #269

TODO / Roadmap

  • [ ] 结果展示: 支持 JSON 数据展示
  • [ ] 交互性: 任务列表、爬虫列表支持筛选、排序
  • [ ] 用户管理: 配置是否允许用户注册;添加、删除、修改用户
  • [ ] 文件管理: 新增、保存、删除、重命名文件
  • [ ] 定时任务: 前端生成 Cron;与 Linux 一致;爬虫详情显示定时任务
  • [ ] 服务器: 利用Nginx转发将CRAWLAB_API_ADDRESS设置为默认IP
  • [x] 免责声明
  • [ ] Crawlab SDK
  • [ ] Crawlab 插件

社区

如果您觉得 Crawlab 对您的日常开发或公司有帮助,请加作者微信 tikazyq1 并注明 "Crawlab",作者会将你拉入群。欢迎在 Github 上进行 star,以及,如果遇到任何问题,请随时在 Github 上提 issue。另外,欢迎您对Crawlab 做开发贡献。


有疑问加站长微信联系(非本文作者)

本文来自:Segmentfault

感谢作者:MarvinZhang

查看原文:爬虫管理平台Crawlab v0.4.1发布(可配置爬虫)

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

702 次点击  
加入收藏 微博
下一篇:Go mod 管理
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传