爬虫管理平台 Crawlab v0.4.9 发布

前言

本次更新包括几个部分：

1. 更高级的权限管理
2. 趣味挑战
3. 可配置爬虫转化自定义爬虫
4. 结果去重
5. 任务重试

更新日志

功能 / 优化

• 挑战. 用户可以完成不同的趣味挑战..
• 更高级的权限控制. 更细化的权限管理，例如普通用户只能查看或管理自己的爬虫或项目，而管理用户可以查看或管理所有爬虫或项目.
• 反馈. 允许用户发送反馈和评分给 Crawlab 开发组.
• 更好的主页指标. 优化主页上的指标展示.
• 可配置爬虫转化为自定义爬虫. 用户可以将自己的可配置爬虫转化为 Scrapy 自定义爬虫.
• 查看定时任务触发的任务. 允许用户查看定时任务触发的任务. #648
• 支持结果去重. 允许用户配置结果去重. #579
• 支持任务重试. 允许任务重新触发历史任务.

Bug 修复

• CLI 无法在 Windows 上使用. #580
• 重新上传错误. #643 #640
• 上传丢失文件目录. #646
• 无法在爬虫定时任务标签中添加定时任务.

产品规划

• 结果展示
  • 支持其他数据库
• 可配置爬虫
  • 可配置爬虫支持 Splash
  • 可配置爬虫支持 CrawlSpider
  • 可配置爬虫支持正则表达式字段
• 任务
  • 任务重试机制
• 定时任务
  • 日历展示
• 全局
  • 支持版本更新日志展示
• 服务器
  • 支持终端操作 Docker 镜像
• SDK
  • 更多命令支持
• 插件系统

参考

• Github: https://github.com/crawlab-team/crawlab
• Demo: https://crawlab.cn/demo