爬虫管理平台 Crawlab v0.4.7 发布

举报
Marvin Zhang 发表于 2020/11/29 17:08:46 2020/11/29
【摘要】 前言本次更新包括几个部分:更好的支持 Scrapy 爬虫支持 Git 仓库同步支持长任务更好的爬虫管理更新日志功能 / 优化更好的支持 Scrapy. 爬虫识别,settings.py 配置,日志级别选择,爬虫选择. #435Git 同步. 允许用户将 Git 项目同步到 Crawlab.长任务支持. 用户可以添加长任务爬虫,这些爬虫可以跑长期运行的任务. 425爬虫列表优化. 分状态任务列...

前言

本次更新包括几个部分:

  1. 更好的支持 Scrapy 爬虫
  2. 支持 Git 仓库同步
  3. 支持长任务
  4. 更好的爬虫管理

更新日志

功能 / 优化

  • 更好的支持 Scrapy. 爬虫识别,settings.py 配置,日志级别选择,爬虫选择. #435
  • Git 同步. 允许用户将 Git 项目同步到 Crawlab.
  • 长任务支持. 用户可以添加长任务爬虫,这些爬虫可以跑长期运行的任务. 425
  • 爬虫列表优化. 分状态任务列数统计,任务列表详情弹出框,图例. 425
  • 版本升级检测. 检测最新版本,通知用户升级.
  • 批量操作爬虫. 允许用户批量运行/停止爬虫任务,以及批量删除爬虫.
  • 复制爬虫. 允许用户复制已存在爬虫来创建新爬虫.
  • 微信群二维码.

Bug 修复

  • 定时任务爬虫选择问题. 字段不会随着爬虫变化而响应.
  • 定时任务冲突问题. 两个不同的爬虫设置定时任务,时间设置成相同的话,可能会有bug. #515 #565
  • 任务日志问题. 在同一时间触发的不同任务可能会写入同一个日志文件. #577
  • 任务列表筛选选项不全.

产品规划

  • 结果展示
    • 支持其他数据库
  • 可配置爬虫
    • 可配置爬虫支持 Splash
    • 可配置爬虫支持 CrawlSpider
    • 可配置爬虫支持正则表达式字段
    • 可配置爬虫支持转化为自定义爬虫
  • 任务
    • 任务重试机制
  • 定时任务
    • 日历展示
  • 全局
    • 支持版本更新检测
    • 支持版本更新日志展示
  • 服务器
    • 支持终端操作 Docker 镜像
  • SDK
    • 更多命令支持
    • 支持 Golang、Java
  • 插件系统

参考

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。