Python协程理解、基于爬虫举例

当前代码在工作当中没有太大的含义，但是对于大家理解协程的基础概念是相当有好处的 。

协程最直接的可以理解为程序当中一个没有返回的功能块儿。

我们之前有学过多线程，所谓的多线程不论是异步并发，还是并发强调的时候，都将功能放到不同的线程上分别运行 。

但是协程不是这样的，协程强调的是在同一个线程上进行运行，这样免去了线程生产、消费、抛弃的损耗。

站在生产消费者模式来看，多线程主张的是生产者生产： 生产的内容放入缓存， 然后取出使用

协程的主张是：生产者生产，然后生产函数终止，然后消费函数启动。消费完成接着生产

闲话不多说，上代码。提前祝大家节日快乐

import requests
from time import sleep
from lxml import etree
​
def setUp(fun):
    """
    启动生成器
    :param fun: 生成器函数
    """
    def inner(**kwargs):
        k = fun(**kwargs)  #调用生成器
        next(k) #执行一次，效果类似初始化
        return k
    return inner
​
@setUp
def getSrc():
     """
         根据内容获取链接
     """
     a = 1
     while True:
         content = yield a
         html = etree.HTML(content)
         imglist = html.xpath('//div[@id="content-left"]//img')
         for img in imglist:
             src = "http"+img.attrib.get("src")
             print(src)
@setUp
def getData():
    """
    根据地址获取内容
    :return:
    """
    while True:
        url = "https://www.qiushibaike.com/pic/page/%s/?s=5144861"
        page = yield url
        if page == 1:
            Referer = "https://www.qiushibaike.com"
            url = "https://www.qiushibaike.com/pic/"
        else:
            Referer = url%page
            url = url % page
        print(url)
        headers = {
            "Referer": Referer,
            "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36",
        }
        request_data = requests.get(url = url,headers = headers)
        content = request_data.content
        img = getSrc()
        img.send(content)
        sleep(1)
​
def getPage():
    """
    启动，获取所有的页码
    """
    d = getData()
    page = 0
    while page < 35:
        page += 1
        d.send(page)
​
if __name__ == "__main__":
    getPage()

  

 

  
1
  
2
  
3
  
4
  
5
  
6
  
7
  
8
  
9
  
10
  
11
  
12
  
13
  
14
  
15
  
16
  
17
  
18
  
19
  
20
  
21
  
22
  
23
  
24
  
25
  
26
  
27
  
28
  
29
  
30
  
31
  
32
  
33
  
34
  
35
  
36
  
37
  
38
  
39
  
40
  
41
  
42
  
43
  
44
  
45
  
46
  
47
  
48
  
49
  
50
  
51
  
52
  
53
  
54
  
55
  
56
  
57
  
58
  
59
  
60
  
61
  
62
  
63
  
64
  
65
  
66
 

大家可以跑一下看看，赏心悦目！

文章来源: blog.csdn.net，作者：考古学家lx，版权归原作者所有，如需转载，请联系作者。

原文链接：blog.csdn.net/weixin_43582101/article/details/91050049