Python爬虫入门教程 78-100 用Scrapy+BloomFilter再写个增量爬虫

写在前面

今天是第78篇Python爬虫博客了，在这里立个Flag，争取在10月1日之前把爬虫百例写完，如果你从第一篇看到现在，你应该是一个合格的爬虫Coder了，继续加油！！

继续搞定增量爬虫，本文涉及两个Python模块，一个为Scrapy，另一个是BloomFilter

BloomFilter（布隆过滤器）使用场景

关于BloomFilter是谁发明的以及为什么发明，本文就不在赘述了，下面主要给大家分享一下BloomFilter使用的场景

1. 黑名单应用（邮件黑名单）
2. 网络爬虫去重（和我们要学的增量爬虫产生了关联）
3. KV系统快速判断Key是否存在
4. 减少缓存穿透（具体没尝试过，不做过多的解释，可以参照：http://blog.itpub.net/31561269/viewsp

文章来源: dream.blog.csdn.net，作者：梦想橡皮擦，版权归原作者所有，如需转载，请联系作者。

原文链接：dream.blog.csdn.net/article/details/108225659