【云享专家公开课】Lesson 1：前言：什么时候会用到Python项目部署和调度的知识?

爬虫项目在编写完成后往往需要部署到服务器上，以便定时执行。你一定很好奇，项目从部署到执行的过程会经历哪些阶段?如何运行Python 的 EGG 包?项目版本控制是如何实现的?具体的执行工作是如何规划的?如何为任意的 Python 项目生成对应的运行日志?任何 Python 项目都可以放到服务器上定时调度吗?

本期，华为云·云享专家团队邀请到云享专家、爬虫工程师韦世东先生为大家讲解《Python项目部署和调度》的相关内容，本次课程以著名的爬虫部署服务 Scrapyd 为例，可以深入了解 Python 项目部署与调度原理，并设计一个通用的 Python 项目部署“架构”。

在什么情况下会用到我们今晚讨论到的 PYTHON 项目部署和调度方面的知识呢?

第一点，当市面上的部署平台无法满足日常需求的时候。

这句话我们应该怎么理解呢?也就是说，市面上有很多优秀的 开源的 PYTHON 项目部署工具和调度平台，但它们可能无法满足你对于定时任务或者多机协同工作的需求的时候。

第二点，团队需求独特，有必要定制的时候。

也就是说，你们团队对于项目部署的流程和执行条件有一定要求的时候。

第三点，团队打造自己的爬虫平台的时候。

现在有很多团队都在打造企业内部使用的爬虫一体化平台，这些平台期望做到高度自动化，例如鼠标点一点，填写一些配置选项就可以实现数据的爬取和存储等功能。这时候，如果你能提出一些好的建议，那么就能够帮助团队设计出更好的调度逻辑。

第四点，兴趣使然，造一个更好的轮子。

当然 有一些开发者出于兴趣，想要研究这方面的知识。或者说，希望通过造轮子的方式，来提升自己的技术能力。比如我，我和崔庆才崔哥重构 Gerapy 项目的时候，也是带有一些想要造轮子的想法。

以上介绍到的几种情况，就需要用到部署和调度方面的知识。

你也可以这么理解，编写完爬虫代码只是完成了一部分工作，而让爬虫项目跑起来，跑得更稳定、更快速、时间更准确，就需要从部署和调度方面入手。

华为云·云享专家简介：

延伸阅读：