云社区 博客 博客详情
云社区 博客 博客详情

【云享专家公开课】Lesson 1:前言:什么时候会用到Python项目部署和调度的知识?

我们都是云专家 发表于 2019-06-04 16:22:27 06-04 16:22
我们都是云专家 发表于 2019-06-04 16:22:27 2019/06/04
0
1

【摘要】 本期,华为云·云享专家团队邀请到云享专家、爬虫工程师韦世东先生为大家讲解《Python项目部署和调度》的相关内容,本次课程以著名的爬虫部署服务 Scrapyd 为例,可以深入了解 Python 项目部署与调度原理,并设计一个通用的 Python 项目部署“架构”。

爬虫项目在编写完成后往往需要部署到服务器上,以便定时执行。你一定很好奇,项目从部署到执行的过程会经历哪些阶段?如何运行Python 的 EGG 包?项目版本控制是如何实现的?具体的执行工作是如何规划的?如何为任意的 Python 项目生成对应的运行日志?任何 Python 项目都可以放到服务器上定时调度吗?


本期,华为云·云享专家团队邀请到云享专家、爬虫工程师韦世东先生为大家讲解《Python项目部署和调度》的相关内容,本次课程以著名的爬虫部署服务 Scrapyd 为例,可以深入了解 Python 项目部署与调度原理,并设计一个通用的 Python 项目部署“架构”。

editor-default1.png

在什么情况下会用到我们今晚讨论到的 PYTHON 项目部署和调度方面的知识呢?

第一点,当市面上的部署平台无法满足日常需求的时候。

这句话我们应该怎么理解呢?也就是说,市面上有很多优秀的 开源的 PYTHON 项目部署工具和调度平台,但它们可能无法满足你对于定时任务或者多机协同工作的需求的时候。

第二点,团队需求独特,有必要定制的时候。

也就是说,你们团队对于项目部署的流程和执行条件有一定要求的时候。

第三点,团队打造自己的爬虫平台的时候。

现在有很多团队都在打造企业内部使用的爬虫一体化平台,这些平台期望做到高度自动化,例如鼠标点一点,填写一些配置选项就可以实现数据的爬取和存储等功能。这时候,如果你能提出一些好的建议,那么就能够帮助团队设计出更好的调度逻辑。

第四点,兴趣使然,造一个更好的轮子。

当然 有一些开发者出于兴趣,想要研究这方面的知识。或者说,希望通过造轮子的方式,来提升自己的技术能力。比如我,我和崔庆才崔哥重构 Gerapy 项目的时候,也是带有一些想要造轮子的想法。

以上介绍到的几种情况,就需要用到部署和调度方面的知识。

你也可以这么理解,编写完爬虫代码只是完成了一部分工作,而让爬虫项目跑起来,跑得更稳定、更快速、时间更准确,就需要从部署和调度方面入手。


华为云·云享专家简介:

17.PNG


延伸阅读:

Lesson   1:前言:什么时候会用到部署和调度的知识?
Lesson   2:PYTHON 项目部署与调度,你将收获到什么?
Lesson   3:以 Scrapyd为例详解Python项目操作
Lesson   4:Python项目部署与调度流程
Lesson   5:Python客户端功能实现的要点和方法
Lesson   6:Python服务端功能实现的要点和方法
Lesson   7:Python项目功能模块划分&代码演示
Lesson   8:如何在华为云服务器上进行多机快速部署?
Lesson   9:Python项目调度与部署问题答疑


登录后可下载附件,请登录或者注册

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:huaweicloud.bbs@huawei.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
评论文章 //点赞 收藏 1
点赞
分享文章到微博
分享文章到朋友圈

评论 (0)


0/1000
评论

登录后可评论,请 登录注册

评论

您没有权限执行当前操作

温馨提示

您确认删除评论吗?

确定
取消
温馨提示

您确认删除评论吗?

删除操作无法恢复,请谨慎操作。

确定
取消
温馨提示

您确认删除博客吗?

确定
取消

确认删除

您确认删除博客吗?

确认删除

您确认删除评论吗?

温馨提示

登录超时或用户已下线,请重新登录!!!

确定
取消