爬虫管理平台 Crawlab v0.4.6 发布

MarvinZhang · · 135 次点击 · · 开始浏览    
这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。

前言

本次更新主要集中在日志管理、任务触发、爬虫展示等优化,以及加入 Node.js SDK。

更新日志

功能 / 优化

  • Node.js SDK. 用户可以将 SDK 应用到他们的 Node.js 爬虫中.
  • 日志管理优化. 日志搜索,错误高亮,自动滚动.
  • 任务执行流程优化. 允许用户在触发任务后跳转到该任务详情页.
  • 任务展示优化. 在爬虫详情页的最近任务表格中加入了“参数”列. #295
  • 爬虫列表优化. 在爬虫列表页加入"更新时间"和"创建时间". #505
  • 页面加载占位器.

Bug 修复

  • 定时任务配置失去焦点. #519
  • 无法用 CLI 工具上传爬虫. #524

产品规划

  • 结果展示

    • 支持其他数据库
  • 爬虫

    • 支持 Git 仓库同步
    • 更好的 Scrapy 支持
    • 更好的长任务支持
  • 可配置爬虫

    • 可配置爬虫支持 Splash
    • 可配置爬虫支持 CrawlSpider
    • 可配置爬虫支持正则表达式字段
    • 可配置爬虫支持转化为自定义爬虫
  • 任务

    • 任务重试机制
  • 定时任务

    • 日历展示
  • 全局

    • 支持版本更新检测
    • 支持版本更新日志展示
  • 服务器

    • 支持终端操作 Docker 镜像
  • SDK

    • 更多命令支持
    • 支持 Golang、Java
  • 插件系统

参考

社区

如果您觉得 Crawlab 对您的日常开发或公司有帮助,请加作者微信 tikazyq1 并注明 "Crawlab",作者会将你拉入群。欢迎在 Github 上进行 star,以及,如果遇到任何问题,请随时在 Github 上提 issue。另外,欢迎您对 Crawlab 做开发贡献。


有疑问加站长微信联系

本文来自:Segmentfault

感谢作者:MarvinZhang

查看原文:爬虫管理平台 Crawlab v0.4.6 发布

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:812540095

135 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传