Crawlab Lite 正式发布,更轻量的爬虫管理平台
【摘要】 Crawlab 是一款基于 Golang 的分布式爬虫管理平台,产品发布已经一年有余,经过开发团队的不断打磨,即将迭代到 v0.5 版本。在这期间我们为 Crawlab 加入了大量社区用户共同期望的功能,使产品更加专业。但与此同时我们也注意到,部分用户并不是分布式爬虫用户,他们更多只是在单机情况下使用 Crawlab。其次目前 Crawlab 逐步加入了丰富的功能,也使整个产品逐渐巨化,大部...
Crawlab 是一款基于 Golang 的分布式爬虫管理平台,产品发布已经一年有余,经过开发团队的不断打磨,即将迭代到 v0.5 版本。在这期间我们为 Crawlab 加入了大量社区用户共同期望的功能,使产品更加专业。但与此同时我们也注意到,部分用户并不是分布式爬虫用户,他们更多只是在单机情况下使用 Crawlab。其次目前 Crawlab 逐步加入了丰富的功能,也使整个产品逐渐巨化,大部分用户并不能充分使用所有的功能。
因此 Crawlab Lite 作为 Crawlab 的轻量化版本正式发布,相较于 Crawlab,该版本将专注于解决单机环境下的爬虫管理,并且平台本身不再依赖任何外部数据库,现有以及未来加入的功能都仅限于高频使用的必需功能,做到最大化的功能克制。
功能特性
首次发布的版本为 v0.0.1
版本,该版本作为首个体验版本,已经具备了 Lite 版规划的核心功能,相较于 Crawlab 主要区别:
-
仅支持单机环境下的爬虫管理,不再具备分布式功能 -
内置依赖 Key-Value 文件数据库,运行不再需要配置外部数据库 -
删减了大量非必需的功能,平台更加轻量与易用 -
后端代码大量重构,平台的稳定和速度大幅提升
运行方式
我们依然保留通过 docker-componse 这种最方便的方式:
-
在任意目录下创建 docker-compose.yml
,内容如下:
version: '3'
services:
master:
image: zkqiang/crawlab-lite:latest
container_name: master
ports:
- "8080:8080"
-
在目录下运行命令:
docker-compose up -d
-
访问 http://localhost:8080
项目地址
https://github.com/crawlab-team/crawlab-lite
项目截图




【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)