python【系列教程】之网络爬虫
一、Scrapy简介
爬虫的应用方面：
- 通过网络技术向指定的url发送请求，获取服务器响应内容
- 使用某种技术（如正则表达式，XPath等）提取页面中我们感兴趣的信息
- 高效的识别响应页面中的链接信息，顺着这些链接递归
安装scrapy
pip install scrapy
本人在安装的时候并没有报以上错误
成功安装scrapy之后，可以通过doc来查看scrapy的文档 。
python -m pydoc -p 8899
打开浏览器查看localhost:8899的页面，可以在python安装目录的lib\site-packages下看到scrapy的文档
二、使用爬虫爬取、分析招聘信息
创建scrapy 项目
scrapy startproject ZhipinSpider
下面我们来爬去boss直聘 广州地区的招聘信息https://www.zhipin.com/c101280100/h_101280100
使用scrapy提供的shell调试工具来抓取该页面中的信息，使用如下命令来开启shell调试
scrapy shell https://www.zhipin.com/c101280100/h_101280100
运行上面命令，将会看到如果所示的提示信息
scrapy shell -s USER_AGENT='Mozilla/5.0' https://www.zhipin.com/c101280100/h_101280100
response.xpath('//div[@class="job-primary"]/div/h3/a/div/text()').extract()
response.css('div.job-primary>div.info-primary>h3.name span').extract()
（1）编写items.py文件
-
# -*- coding: utf-8 -*-
-
-
# Define here the models for your scraped items
-
#
-
# See documentation in:
-
# https://docs.scrapy.org/en/latest/topics/items.html
-
-
import scrapy
-
-
class ZhipinspiderItem(scrapy.Item):
-
# define the fields for your item here like:
-
# name = scrapy.Field()
-
#工作名称
-
title = scrapy.Field()
-
#工资
-
salary = scrapy.Field()
-
#招聘公司
-
conpany = scrapy.Field()
-
#工作详细链接
-
url = scrapy.Field()
-
#工作地点
-
work_addr = scrapy.Field()
-
#行业
-
industry = scrapy.Field()
-
#公司规模
-
company_size = scrapy.Field()
-
#招聘人
-
recruiter = scrapy.Field()
-
#发布时间
-
publish_date = scrapy.Field()
-
pass
（2）
scrapy genspider job_position "zhipin.com"
-
# -*- coding: utf-8 -*-
-
import scrapy
-
-
-
class JobPositionSpider(scrapy.Spider):
-
#定义该spider的名字
-
name = 'job_position'
-
#定义该spider允许爬取的域名
-
allowed_domains = ['zhipin.com']
-
#定义该spider爬取的首页列表
-
start_urls = ['http://zhipin.com/']
-
-
#该方法负责提取response所包含的信息
-
def parse(self, response):
-
pass
-
# -*- coding: utf-8 -*-
-
import scrapy
-
from ZhipinSpider.items import ZhipinspiderItem
-
-
-
class JobPositionSpider(scrapy.Spider):
-
# 定义该spider的名字
-
name = 'job_position'
-
# 定义该spider允许爬取的域名
-
allowed_domains = ['zhipin.com']
-
# 定义该spider爬取的首页列表
-
start_urls = ['https://www.zhipin.com/c101280100/h_101280100/']
-
-
# 该方法负责提取response所包含的信息
-
# response代表下载器从start_urls中的每个url下载得到的响应
-
def parse(self, response):
-
# 遍历页面中的所有的//div[@class="job-primary"]节点
-
for job_primary in response.xpath('//div[@class="job_primary"]'):
-
item = ZhipinspiderItem()
-
# 匹配//div[@class="job-primary"]节点下的/div[@class="info-primary"]节点
-
# 也就是匹配到包含工作信息的<div.../>元素
-
info_primary = job_primary.xpath('./div[@class="info-primary"]')
-
item['title'] = info_primary.xpath('./h3/a/div[@class="job-title"]/text()').extract_first()
-
item['salary'] = info_primary.xpath('./h3/a/span[@class="red"]/text()').extract_first()
-
item['work_addr'] = info_primary.xpath('./p/text()').extract_first()
-
item['url'] = info_primary.xpath('./h3/a/@href').extract_first()
-
# 匹配公司信息<div.../>
-
company_text = job_primary.xpath('./div[@class="info-company"]/div[@class="company-text"]')
-
item['company'] = company_text.xpath('./h3/a/text()').extract_first()
-
company_info = company_text.xpath('./p/text()').extract()
-
if company_info and len(company_info) > 0:
-
item['industry'] = company_text.xpath('./p/text()').extract()[0]
-
if company_info and len(company_info) > 1:
-
item['company_size'] = company_text.xpath('./p/text()').extract()[2]
-
# 匹配发布人信息
-
info_publis = job_primary.xpath('./div[@class="info-publis"]')
-
item['recruiter'] = info_publis.xpath('./h3/text()').extract_first()
-
item['publish_date'] = info_publis.xpath('./p/text()').extract_first()
-
yield item
（3）编写piplines.py文件，该文件负责将所爬取的数据写入文件或者数据库中
-
# -*- coding: utf-8 -*-
-
-
# Define your item pipelines here
-
#
-
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
-
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html
-
-
-
class ZhipinspiderPipeline(object):
-
def process_item(self, item, spider):
-
print('工作：',item['title'])
-
print('工资：',item['salary'])
-
print('招聘公司：',item['conpany'])
-
print('工作详细链接：',item['url'])
-
print('工作地点：',item['work_addr'])
-
print('行业：',item['industry'])
-
print('公司规模：',item['company_size'])
-
print('招聘人：',item['recruiter'])
-
print('发布时间：',item['publish_date'])
-
return item
配置settings.py文件
-
# -*- coding: utf-8 -*-
-
-
# Scrapy settings for ZhipinSpider project
-
#
-
# For simplicity, this file contains only settings considered important or
-
# commonly used. You can find more settings consulting the documentation:
-
#
-
# https://docs.scrapy.org/en/latest/topics/settings.html
-
# https://docs.scrapy.org/en/latest/topics/downloader-middleware.html
-
# https://docs.scrapy.org/en/latest/topics/spider-middleware.html
-
-
BOT_NAME = 'ZhipinSpider'
-
-
SPIDER_MODULES = ['ZhipinSpider.spiders']
-
NEWSPIDER_MODULE = 'ZhipinSpider.spiders'
-
-
# Obey robots.txt rules
-
ROBOTSTXT_OBEY = True
-
-
# Override the default request headers:
-
DEFAULT_REQUEST_HEADERS = {
-
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36',
-
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
-
'Accept-Language': 'en',
-
}
-
-
# Configure item pipelines
-
# See https://docs.scrapy.org/en/latest/topics/item-pipeline.html
-
ITEM_PIPELINES = {
-
'ZhipinSpider.pipelines.ZhipinspiderPipeline': 300,
-
}
回顾一下上面的开发过程，使用scrapy开发爬虫的核心工作就是三步。
- 定义Item类，由于Item只是一个DTO对象，因此定义Item类很简单
- 开发Spider类。这一步是核心，Spider使用XPath从页面中提取项目所需的信息，并用这些信息来封装Item对象
- 开发Pipeline。Pipline负责处理Spider获取的Item对象
经过上面的步骤，这个基于Scrapy的spider已经开发完成，在命令行窗口中进入ZhipinSpider项目目录下，执行如下命令启动Spider。
scrapy crawl job_position
这里的job_position就是前面定义 的Spider名称
-
#继续请求下一页的数据
-
new_links = response.xpath('//div[@class="page"]/a[@class="next"]/@href').extract()
-
if new_links and len(new_links) > 0:
-
# 获取下一页的链接
-
new_link = new_links[0]
-
yield scrapy.Request("https://www.zhipin.com" + new_link, callback=self.parse)
三、处理反爬虫
scrapy shell https://unsplash.com/
创建项目
scrapy startproject UnsplashImageSpider
（2）常用的反爬虫手段
1.IP地址验证
2.禁用cookie
3.违反爬虫规则文件
4.限制访问频率
5.图形验证码
（3）整合Selenium模拟浏览器行为
1.为python安装 selenium 库
pip install selenium
2.下载浏览器驱动
3.安装目标浏览器
一句话，只要技术到位，网络上没有爬取不到的数据，当然，如果有些网站的数据属于机密数据，并且这些网站也已经采取种种措施来防止非法访问，但是你非要越过层层限制去访问这些数据，这就涉嫌触犯法律了，因此，爬虫也要适可而止。
文章来源: blog.csdn.net，作者：血煞风雨城2018，版权归原作者所有，如需转载，请联系作者。
原文链接：blog.csdn.net/qq_31905135/article/details/102504337
- 点赞
- 收藏
- 关注作者
评论（0）