云社区 博客 博客详情
云社区 博客 博客详情

【云享专家公开课】Lesson2:Python项目部署与调度,你将收获到什么?

我们都是云专家 发表于 2019-06-04 16:40:42 06-04 16:40
我们都是云专家 发表于 2019-06-04 16:40:42 2019/06/04
0
0

【摘要】 课程lesson2,本期我们要解决的问题是 PYTHON 项目部署于调度方面的问题。可以将问题拆分为[部署]和[调度]两个方面,部署指的是在客户端打包项目,并传输到服务端的过程,我们可以将这个过程理解为文件压缩和上传。

爬虫项目在编写完成后往往需要部署到服务器上,以便定时执行。你一定很好奇,项目从部署到执行的过程会经历哪些阶段?如何运行Python 的 EGG 包?项目版本控制是如何实现的?具体的执行工作是如何规划的?如何为任意的 Python 项目生成对应的运行日志?任何 Python 项目都可以放到服务器上定时调度吗?


本期,华为云·云享专家团队邀请到云享专家、爬虫工程师韦世东先生为大家讲解《Python项目部署和调度》的相关内容,本次课程以著名的爬虫部署服务 Scrapyd 为例,可以深入了解 Python 项目部署与调度原理,并设计一个通用的 Python 项目部署“架构”。

本期课程的主要流程和内容安排:

第一、对本期直播的主题做一个简单的介绍。

第二、通过成熟的爬虫项目部署和调度平台 Scrapyd来了解爬虫项目从打包到部署,再到调度执行的整个过程,并整理出新平台的整体流程和新平台的功能规划。

第三、了解客户端功能实现的要点和方法,并通过项目演示的方式学习打包功能的逻辑和代码实现。我们还会了解到服务端功能实现的要点和方法,并通过项目演示的方式了解服务端的代码逻辑和关键技术点。

第四,我们将对本期所学知识做一个简短的总结。然后进入到提问答疑环节,这个环节,问题被选中的参与者可以获得华为云社区准备的精美礼物。


本期直播,我们要解决的问题是 PYTHON 项目部署于调度方面的问题。

我们可以将问题拆分为[部署]和[调度]两个方面,部署指的是在客户端打包项目,并传输到服务端的过程,我们可以将这个过程理解为文件压缩和上传。

调度指的是定时或者即时运行项目,而每次的调度可以看作是一个任务。


现在来说,市面上的部署工具分为打包和不打包两个流派。打包流派的项目如 Scrapy 团队研发的Scrapyd、微软工程师崔庆才编写的 Gerapy 和其他开发者编写的 SpiderKeeper等。不打包流派的项目如 PySpider 和 Fabric 等。但无论是打包流派还是非打包流派,它们都不能同时支持定时任务和其他 PYTHON 项目的运行。打包流派的几个项目,都只支持爬虫框架 Scrapy 编写的 PYTHON 项目,而 PySpider 只支持 PySpider 编写的爬虫项目。


我们将在直播过程中演示如何构建一个兼容性高、支持定时任务、并行执行、有版本控制功能、能够生成任意 PYTHON 项目运行日志的、可扩展的、打包流派的 PYTHON 项目通用的部署和调度平台。大家能够收获到版本控制、进程交互、定时任务、多机通信、PYTHON 项目打包和 PYTHON 包的传输与运行相关的知识。


华为云·云享专家简介:

17.PNG


延伸阅读:

Lesson   1:前言:什么时候会用到部署和调度的知识?
Lesson   2:PYTHON 项目部署与调度,你将收获到什么?
Lesson   3:以 Scrapyd为例详解Python项目操作
Lesson   4:Python项目部署与调度流程
Lesson   5:Python客户端功能实现的要点和方法
Lesson   6:Python服务端功能实现的要点和方法
Lesson   7:Python项目功能模块划分&代码演示
Lesson   8:如何在华为云服务器上进行多机快速部署?
Lesson   9:Python项目调度与部署问题答疑


登录后可下载附件,请登录或者注册

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:huaweicloud.bbs@huawei.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
评论文章 //点赞 收藏 0
点赞
分享文章到微博
分享文章到朋友圈

评论 (0)


0/1000
评论

登录后可评论,请 登录注册

评论

您还没有写博客的权限!

温馨提示

您确认删除评论吗?

确定
取消
温馨提示

您确认删除评论吗?

删除操作无法恢复,请谨慎操作。

确定
取消
温馨提示

您确认删除博客吗?

确定
取消

确认删除

您确认删除博客吗?

确认删除

您确认删除评论吗?

温馨提示

登录超时或用户已下线,请重新登录!!!

确定
取消