scrapy辅助功能实用函数：

1. get_response: 获得scrapy.HtmlResponse对象, 在不新建scrapy项目工程的情况下，使用scrapy的一些函数做测试

2. extract_links: 解析出所有符合条件的链接

代码示例

以拉勾首页为例，获取拉勾首页所有职位链接，进一步可以单独解析这些链接，获取职位的详情信息

import requests
from scrapy.http import HtmlResponse
from scrapy.linkextractors import LinkExtractor

def get_response(url): """ 获得scrapy.HtmlResponse对象, 在不新建scrapy项目工程的情况下， 使用scrapy的一些函数做测试 :param url: {str} 链接 :return: {HtmlResponse} scrapy响应对象 """ headers = { "User-Agent": "Mozilla/5.0 (Windows NT 6.3; rv:36.0) Gecko/20100101 Firefox/36.0" } response = requests.get(url, headers=headers) return HtmlResponse(url=url, body=response.content)


def extract_links(response, allow, allow_domains): """ 解析所有符合要求的链接, 每次都解析不出来text属性，所以直接封装,可以做一些特定扩展 :param response: {scrapy.http.HtmlResponse} scrapy响应 :param allow: {tuple} 链接限定元组 :param allow_domains: {tuple} 域名限定元组 :return: {iterator({str})} """ link_extractor = LinkExtractor(allow=allow, allow_domains=allow_domains) links = link_extractor.extract_links(response) return (link.url for link in links)


if __name__ == '__main__': url = "https://www.lagou.com/" response = get_response(url) links = extract_links(response, ("jobs/\d+.html"), ("lagou.com",)) for link in links: print(link) """ https://www.lagou.com/jobs/5185130.html https://www.lagou.com/jobs/4200613.html https://www.lagou.com/jobs/5039140.html https://www.lagou.com/jobs/5174337.html https://www.lagou.com/jobs/5185128.html https://www.lagou.com/jobs/5185127.html ... """

  

   
1
   
2
   
3
   
4
   
5
   
6
   
7
   
8
   
9
   
10
   
11
   
12
   
13
   
14
   
15
   
16
   
17
   
18
   
19
   
20
   
21
   
22
   
23
   
24
   
25
   
26
   
27
   
28
   
29
   
30
   
31
   
32
   
33
   
34
   
35
   
36
   
37
   
38
   
39
   
40
   
41
   
42
   
43
   
44
   
45
   
46
   
47
   
48
   
49
  
  

 

  
1
  
2
  
3
  
4
  
5
  
6
  
7
  
8
  
9
  
10
  
11
  
12
  
13
  
14
  
15
  
16
  
17
  
18
  
19
  
20
  
21
  
22
  
23
  
24
  
25
  
26
  
27
  
28
  
29
  
30
  
31
  
32
  
33
  
34
  
35
  
36
  
37
  
38
  
39
  
40
  
41
  
42
  
43
  
44
  
45
  
46
  
47
  
48
  
49
 

文章来源: pengshiyu.blog.csdn.net，作者：彭世瑜，版权归原作者所有，如需转载，请联系作者。

原文链接：pengshiyu.blog.csdn.net/article/details/82898956