爬虫管理平台Crawlab部署指南(Docker and more)

举报
Marvin Zhang 发表于 2020/11/29 16:59:05 2020/11/29
【摘要】 ⚠注意: Crawlab已迁移到Golang版本(v0.3.0),本文的教程仅适用于Python版本(v0.2.4),如有不清楚的,可以加作者微信询问,tikazyq1.前言Crawlab是基于Celery的分布式爬虫管理平台,可以集成任何语言和任何框架。自今年三月份上线以来受到爬虫爱好者们和开发者们的好评,不少使用者还表示会用Crawlab搭建公司的爬虫平台。经过近3个月的迭代,我们陆续上...

⚠注意: Crawlab已迁移到Golang版本(v0.3.0),本文的教程仅适用于Python版本(v0.2.4),如有不清楚的,可以加作者微信询问,tikazyq1.

前言

Crawlab是基于Celery的分布式爬虫管理平台,可以集成任何语言和任何框架。自今年三月份上线以来受到爬虫爱好者们和开发者们的好评,不少使用者还表示会用Crawlab搭建公司的爬虫平台。经过近3个月的迭代,我们陆续上线了定时任务数据分析网站信息可配置爬虫自动提取字段下载结果上传爬虫等功能,将Crawlab打造得更加实用,更加全面,能够真正帮助用户解决爬虫管理困难的问题。

但是,不断有朋友提出来Crawlab存在部署复杂的问题。从安装Crawlab到最终打开界面需要大概10-20分钟的时间,而这还不包括数据库的安装和环境的配置。如果要将Crawlab部署在生产环境,或者用作分布式管理的话,部署将更加困难。因此,本篇文章将详细介绍Crawlab的部署,帮助开发者们更加方便地部署爬虫管理平台。

Docker部署

这应该是部署应用的最方便也是最节省时间的方式了。在最近的一次版本更新v0.2.3中,我们发布了Docker功能,让大家可以利用Docker来轻松部署Crawlab。下面将一步一步介绍如何使用Docker来部署Crawlab。

对Docker不了解的开发者,可以参考一下这篇文章(9102 年了,学点 Docker 知识)做进一步了解。简单来说,Docker可以利用已存在的镜像帮助构建一些常用的服务和应用,例如Nginx、MongoDB、Redis等等。用Docker运行一个MongoDB服务仅需docker run -d --name mongo -p 27017:27017 mongo一行命令。如何安装Docker跟操作系统有关,这里就不展开讲了,需要的同学自行百度一下相关教程。

下载镜像

我们已经在DockerHub上构建了Crawlab的镜像,开发者只需要将其pull下来使用。在pull 镜像之前,我们需要配置一下镜像源。因为我们在墙内,使用原有的镜像源速度非常感人,因此将使用DockerHub在国内的加速器。创建/etc/docker/daemon.json文件,在其中输入如下内容。

{
  "registry-mirrors": ["https://registry.docker-cn.com"]
}

这样的话,pull镜像的速度会比不改变镜像源的速度快很多。

执行以下命令将Crawlab的镜像下载下来。镜像大小大概在几百兆,因此下载需要几分钟时间。

docker pull tikazyq/crawlab:latest

更改配置文件

拷贝一份后端配置文件./crawlab/config/config.py以及前端配置文件./frontend/.env.production到某一个地方。例如我的例子,分别为/home/yeqing/config.py/home/yeqing/.env.production

更改后端配置文件config.py,将MongoDB、Redis的指向IP更改为自己数据的值。注意,容器中对应的宿主机的IP地址不是localhost,而是172.17.0.1(当然也可以用network来做,只是稍微麻烦一些)。更改前端配置文件.env.production,将API地址VUE_APP_BASE_URL更改为宿主机所在的IP地址,例如http://192.168.0.8:8000,这将是前端调用API会用到的URL。

运行Docker容器

更改好配置文件之后,接下来就是运行容器了。执行以下命令来启动容器。

docker run -d --rm --name crawlab \
 -p 8080:8080 \
 -p 8000:8000 \
 -v /home/yeqing/.env.production:/opt/crawlab/frontend/.env.production \
 -v /home/yeqing/config.py:/opt/crawlab/crawlab/config/config.py \
 tikazyq/crawlab master

其中,我们映射了8080端口(Nginx前端静态文件)以及8000端口(后端API)到宿主机。另外还将前端配置文件/home/yeqing/.env.production和后端配置文件/home/yeqing/config.py映射到了容器相应的目录下。传入参数master是代表该启动方式为主机启动模式,也就是所有服务(前端、Api、Flower、Worker)都会启动。另外一个模式是worker模式,只会启动必要的Api和Worker服务,这个对于分布式部署比较有用。等待大约20-30秒的时间来build前端静态文件,之后就可以打开Crawlab界面地址地址看到界面了。界面地址默认为http://localhost:8080

Docker-Compose

当然,也可以用docker-compose的方式来部署。docker-compose是一个集群管理方式,可以利用名为docker-compose.ymlyaml文件来定义需要启动的容器,可以是单个,也可以(通常)是多个的。Crawlab的docker-compose.yml定义如下。

version: '3.3'
services:
  master: 
    image: tikazyq/crawlab:latest
    container_name: crawlab
    volumns:
      - /home/yeqing/config.py:/opt/crawlab/crawlab/config/config.py # 后端配置文件
      - /home/yeqing/.env.production:/opt/crawlab/frontend/.env.production # 前端配置文件
    ports:    
      - "8080:8080" # nginx
      - "8000:8000" # app
    depends_on:
      - mongo
      - redis
    entrypoint:
      - /bin/sh
      - /opt/crawlab/docker_init.sh
      - master
  mongo:
    image: mongo:latest
    restart: always
    ports:
      - "27017:27017"
  redis:
    image: redis:latest
    restart: always
    ports:
      - "6379:6379"

这里先定义了master节点,也就是Crawlab的主节点。master依赖于mongoredis容器,因此在启动之前会同时启动mongoredis容器。这样就不需要单独配置mongoredis服务了,大大节省了环境配置的时间。

安装docker-compose也很简单,大家去网上百度一下就可以了。

安装完docker-compose和定义好docker-compose.yml后,只需要运行以下命令就可以启动Crawlab。

docker-compose up

同样,在浏览器中输入http://localhost:8080就可以看到界面。

多节点模式

docker-compose的方式很适合多节点部署,在原有的master基础上增加几个worker节点,达到多节点部署的目的。将docker-compose.yml更改为如下内容。

version: '3.3'
services:
  master: 
    image: tikazyq/crawlab:latest
    container_name: crawlab
    volumns:
      - /home/yeqing/config.master.py:/opt/crawlab/crawlab/config/config.py # 后端配置文件
      - /home/yeqing/.env.production.master:/opt/crawlab/frontend/.env.production # 前端配置文件
    ports:    
      - "8080:8080" # nginx
      - "8000:8000" # app
    depends_on:
      - mongo
      - redis
    entrypoint:
      - /bin/sh
      - /opt/crawlab/docker_init.sh
      - master
  worker1: 
    image: tikazyq/crawlab:latest
    volumns:
      - /home/yeqing/config.worker.py:/opt/crawlab/crawlab/config/config.py # 后端配置文件
      - /home/yeqing/.env.production.worker:/opt/crawlab/frontend/.env.production # 前端配置文件
    ports:
      - "8001:8000" # app
    depends_on:
      - mongo
      - redis
    entrypoint:
      - /bin/sh
      - /opt/crawlab/docker_init.sh
      - worker
  worker2: 
    image: tikazyq/crawlab:latest
    volumns:
      - /home/yeqing/config.worker.py:/opt/crawlab/crawlab/config/config.py # 后端配置文件
      - /home/yeqing/.env.production.worker:/opt/crawlab/frontend/.env.production # 前端配置文件
    ports:
      - "8002:8000" # app
    depends_on:
      - mongo
      - redis
    entrypoint:
      - /bin/sh
      - /opt/crawlab/docker_init.sh
      - worker
  mongo:
    image: mongo:latest
    restart: always
    ports:
      - "27017:27017"
  redis:
    image: redis:latest
    restart: always
    ports:
      - "6379:6379"

这里启动了多增加了两个worker节点,以worker模式启动。这样,多节点部署,也就是分布式部署就完成了。

直接部署

直接部署是之前没有Docker时的部署方式,相对于Docker部署来说有些繁琐。但了解如何直接部署可以帮助更深入地理解Docker是如何构建Crawlab镜像的。这里简单介绍一下。

拉取代码

首先是将github上的代码拉取到本地。

git clone https://github.com/tikazyq/crawlab

安装

安装前端所需库。

npm install -g yarn pm2
cd frontend
yarn install

安装后端所需库。

cd ../crawlab
pip install -r requirements

配置

分别配置前端配置文件./frontend/.env.production和后端配置文件./crawlab/config/config.py。分别需要对部署后API地址以及数据库地址进行配置。

构建

这里的构建是指前端构建,需要执行以下命令。

cd ../frontend
npm run build:prod

构建完成后,会在./frontend目录下创建一个dist文件夹,里面是打包好后的静态文件。

Nginx

安装nginx,在ubuntu 16.04是以下命令。

sudo apt-get install nginx

添加/etc/nginx/conf.d/crawlab.conf文件,输入以下内容。

server {
    listen    8080;
    server_name    dev.crawlab.com;
    root    /home/yeqing/jenkins_home/workspace/crawlab_develop/frontend/dist;
    index    index.html;
}

其中,root是静态文件的根目录,这里是npm打包好后的静态文件。

现在,只需要启动nginx服务就完成了启动前端服务。

nginx reload

启动服务

这里是指启动后端服务。我们用pm2来管理进程。执行以下命令。

pm2 start app.py # API服务
pm2 start worker.py # Worker
pm2 start flower.py # Flower

这样,pm2会启动3个守护进程来管理这3个服务。我们如果想看后端服务的日志的话,可以执行以下命令。

pm2 logs [app]

然后在浏览器中输入http://localhost:8080就可以看到界面了。

预览模式

预览模式是一种让用户比较快的上手的一种部署模式。跟直接部署类似,但不用经过构建nginx启动服务的步骤。在启动时只需要执行以下命令就可以了。相较于直接部署来说方便一些。

python manage.py serve

该模式同样会启动3个后端服务和1个前端服务。前端服务是通过npm run serve来进行的,因此是开发者模式。注意:强烈不建议在生产环境中用预览模式。预览模式只是让开发者快速体验Crawlab以及调试代码问题的一种方式,而不是用作生产环境部署的。

结语

本文介绍了三种Crawlab的部署方式,分别是Docker部署直接部署预览模式。其中,Docker部署是推荐部署方式,因为它部署方便、快捷,而且能有效的管理节点,利用docker-compose可以快速搭建集群模式(分布式)的Crawlab服务。直接部署是Docker部署发布之前的一种部署方式,较为繁琐,但对于不了解Docker的开发者来说是一种替代方案。预览模式让开发者可以快速体验Crawlab,但不建议在生产环境中使用。0.2.3版本中Docker的发布降低了部署Crawlab的难度和繁琐程度,企业和个人都可以在各自的平台上快速部署Crawlab。

Github: tikazyq/crawlab

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。