Python爬虫入门教程 77-100 增量爬虫不得不说的故事

孰能生巧，用在技术领域在通用不过了，作为一个初学者，需要牢固的掌握技术，那必须依赖自己每日的耕耘。我是梦想橡皮擦，希望某天我们在高处相逢。

写在前面

看完标题之后，如果你对什么是增量爬虫产生了疑问，恭喜，你又将有收获了，如果你没有疑问，厉害，高手~

增量爬虫其实是一种内容爬取的叫法，增量就是增加的量，我们的爬虫当爬取完毕一个网址之后，某些网站会在原来的数据上又更新了一批，例如虎嗅的头条推荐、小说网的章节更新等等其他只要存在动态更新的网站，其实都适用于增量爬虫。

这样我们就可以给增量爬虫做一个简单的定义了：在上一次爬取的结果上再次进行爬取

编码开始

我们接下来就通过爬虫程序检测某个网站，当该网站更新时，我们进行增量爬取。

该网站是搜狗搜索平台：https://weixin.sogou.com/，可以跟踪热点新闻

增量爬虫的核心是

文章来源: dream.blog.csdn.net，作者：梦想橡皮擦，版权归原作者所有，如需转载，请联系作者。

原文链接：dream.blog.csdn.net/article/details/108216777