爬虫管理平台 Crawlab v0.4.10 发布

前言

本次更新包括几个部分：

1. 日志集中管理
2. 自动安装依赖
3. 开放 API
4. Web Hook
5. 自动生成结果集

更新日志

功能 / 优化

• 优化日志管理. 集中化管理日志，储存在 MongoDB，减少对 PubSub 的依赖，允许日志异常检测.
• 自动安装依赖. 允许从 requirements.txt 和 package.json 自动安装依赖.
• API Token. 允许用户生成 API Token，并利用它们来集成到自己的系统中.
• Web Hook. 当任务开始或结束时，触发 Web Hook http 请求到预定义好的 URL.
• 自动生成结果集. 如果没有设置，自动设置结果集为 results_<spider_name>.
• 优化项目列表. 项目列表中不展示 "No Project".
• 升级 Node.js. 将 Node.js 版本从 v8.12 升级到 v10.19.
• 定时任务增加运行按钮. 允许用户在定时任务界面手动运行爬虫任务.

Bug 修复

• 无法注册. #670
• 爬虫定时任务标签 Cron 表达式显示秒. #678
• 爬虫每日数据缺失. #684
• 结果数量未即时更新. #689

产品规划

• 结果展示
  • 支持其他数据库
• 爬虫
  • 支持容器爬虫
  • 长任务爬虫支持
• 可配置爬虫
  • 可配置爬虫支持 Splash
  • 可配置爬虫支持 CrawlSpider
  • 可配置爬虫支持正则表达式字段
• 定时任务
  • 日历展示
• 服务器
  • 支持终端操作 Docker 镜像
• SDK
  • 更多命令支持
• 全局
  • 热更新

参考

• Github: https://github.com/crawlab-team/crawlab
• Demo: https://crawlab.cn/demo
• 文档: http://docs.crawlab.cn