快速入门网络爬虫系列 Chapter15 | 验证码识别

举报
不温卜火 发表于 2020/12/03 00:05:20 2020/12/03
【摘要】 Chapter15 | 验证码识别 一、模拟登录知乎二、光学字符识别1、pytesseract2、验证码的识别3、图像处理3.1、二值图像3.2、灰度图像3.3、索引图像3.4、处理实例 4、处理复杂验证 验证码(CAPTCHA)的全程为全自动区分计算机和人类的公开图灵测试 从全程可以看出:验证码用于测试用户是否为真实人类 以识别知乎验证码为例,...

验证码(CAPTCHA)的全程为全自动区分计算机和人类的公开图灵测试
从全程可以看出:验证码用于测试用户是否为真实人类
以识别知乎验证码为例,介绍简单的验证码处理

一、模拟登录知乎

  • 如果访问过于频繁,服务器要求输入验证码
  • 如果短时间内在知乎上频繁的登录退出,知乎就会要求输入验证码

对于比较简单的字符型验证码,可以尝试用pytesseract库识别这些验证码
pytesseract是一款用于光学字符识别的Python第三方库,可以从图片中识别出其中嵌入的文字
1
我们可以看到有些验证码是识别不出来的。

  • 随着计算能力和机器学习的发展,涌现出很多新型验证码,使得验证码处理越来越难。如下图:
    2
  • 验证码的识别是一个专门的研究领域,对于普通用户来说,要采用合适的抓取策略,尽量避免验证码的出现。

二、光学字符识别

光学字符识别(Optical Character Recognition,OCR) 用于从图像中抽取文本
我们使用开源的Tesseract OCR引擎,该引擎最初由惠普公司开发,目前由Google主导
在验证码识别中,使用Python的封装版本pytesseract

1、pytesseract

官网:https://pypi.python.org/pypi/pytesseract
函数:image_to_string()
用法:print(pytesseract.image_to_string(Image.open(“test.png”)))

  • pytesseract是一个基于Google‘s Tesseract-OCR的独立封装包
  • pytesseract功能是识别图片文件中文字,并作为返回参数返回识别结果
  • pytesseract默认支持tiff、bmp格式图片,只有在安装PIL之后,才能支持jpeg、gif、png等其他图片格式

PIL提供了通用的图像处理功能,以及大量有用的基本图像操作,比如图像缩放、裁剪、旋转、颜色转换等。
利用PIL中函数,我们可以从大多数图像格式的文件中读取数据,然后写入最常见的图像格式文件中
PIL中最重要的模块为Image

我们要先安装PIL:pip install Pillow-7.1.1-cp36-cp36m-win_amd64.whl
PIL的open()函数用于创建PIL图像对象
下面开始进行测试:

from PIL import Image
from PIL.ImageShow import show
# 读取图片
img = Image.open(".\\3.png")
# 显示图片
show(img)

  
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

下图为测试运行的图片

3

  • 输出图片格式 img.format
  • 输出图片尺寸 img.size
  • 输出图片类型 img.mode
# 输出图片的格式,尺寸以及图像类型
print(img.format,img.size,img.mode)

  
 
  • 1
  • 2

4

  • 生成缩略图img.thumbnail()
# 生成缩略图
img.thumbnail((128,128))
# 显示图片
show(img)

  
 
  • 1
  • 2
  • 3
  • 4

要旋转一张图片,可以使用逆时针方式表示旋转角度,然后调用rotate()函数
当旋转角度为90°,180°,270°的时候可以用img.transpose(Image.ROTATE_90)
其他角度用rotate()

# 逆时针旋转45°
rorate1 = img.rotate(45)
show(rorate1)
# 逆时针旋转90°
rorate1 = img.transpose(Image.ROTATE_90)
show(rorate2)

  
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

左右对换 img.transpose(Image.FLIP_LEFT_RIGHT)
上下翻转 img.transpose(Image.FLIP_TOP_BOTTOM)

# 左右对换
rorate3 =  img.transpose(Image.FLIP_LEFT_RIGHT)
show(rorate3)
# 上下翻转
rorate4 = img.transpose(Image.FLIP_TOP_BOTTOM)
show(rorate4)

  
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

图像的颜色转换可以使用convert()方法来实现。要读取一幅图像,并将其转换成灰色图像,只需要加上convert('L')

# 图像转换为灰度
grey = img.convert('L')
show(grey)

  
 
  • 1
  • 2
  • 3

5
6

Python规定左上角为(0,0)的坐标点,box由一个4元组(左,上,右,下)定义,表示为坐标为:(left,upper,right,lower),最后的两个数字必须比前面两个要大

# 裁剪如片 box为裁剪图片的区域范围
box = (30,30,100,100)
region = img.crop(box)
show(region)

  
 
  • 1
  • 2
  • 3
  • 4

7

2、验证码的识别

from PIL import Image
from PIL.ImageShow import show
import pytesseract
# 读取图片
img = Image.open(".\\2.png")
# 显示图片
show(img)
print(pytesseract.image_to_string(img))

  
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

8

3、图像处理

在用pytesseract进行验证码识别之前,我们首先需要对验证码图片进行预处理,尽量取出噪声,而只保留有验证码信息的像素
pytesseract基本上无法识别那些没有经过预处理的验证码图片
下面为一些基本的验证码预处理方法:

  • 通常图像处理的流程如下图,验证码的完整预处理为步骤二
    9

在实际中,我们通常的预处理步骤为:
1、灰度化
2、二值化
3、去噪

  • 图像处理一般指数字图像处理。数字图像是指工业相机、摄像机、扫描仪等设备经过摄像得到的一个大的二维数组,该数组的元素称为像素,其值称为灰度值
  • 在计算机中,按照颜色和灰度的多少可以将图像分为二位图像,灰度图像、索引图像和真彩色RGB图像四种基本类型。大多数图像处理软件和python库都支持这四种类型的图像

3.1、二值图像

一幅二值图像的二维矩阵仅有0,1两个值构成。
“0”代表黑色,“1”代表白色
由于每一个像素(矩阵中每一个元素)取值仅有0,1两种可能,所以计算机中二值图像的数据类型通常为1个二进制位

3.2、灰度图像

灰度图像矩阵元素的取值范围通常为[0,255]。因此其数据类型一般为8位无符号整数的(int8),这就是人们经常提到的256灰度图像
0表示纯黑色,255表示纯白色,中间的数字从小到大表示由黑到白的过渡色
二值图像可以看成是灰度图像的一个特例

3.3、索引图像

索引图像的文件结构比较复杂,出去存放图像的二维矩阵外,还包括一个称之为颜色索引矩阵的MAP的二维数组
MAP的大小由存放图像的矩阵元素值域决定,如矩阵元素值域位[0,255],则MAP矩阵的大小为256x3,用MAP=[RGB]表示
MAP中每一行的三个元素分别指定该行对应颜色的红、绿、蓝单色值

3.4、处理实例

import time
import requests
from PIL import Image
from PIL.ImageShow import show
import pytesseract
# 读取图片
img = Image.open(".\\2.png")
show(img)
gray = img.convert('L')
show(gray)
for i in range(1,100,9): bw = gray.point(lambda x:0 if x<i else 255) show(bw) time.sleep(1)


  
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15

10

识别验证码并显示

import time
import requests
from PIL import Image
from PIL.ImageShow import show
import pytesseract
# 读取图片
img = Image.open(".\\2.png")
# show(img)
gray = img.convert('L')
# show(gray)
for i in range(1,100,9): bw = gray.point(lambda x:0 if x<i else 255) # show(bw) # time.sleep(1)
print("验证码为:" + pytesseract.image_to_string(img))
print("验证码为:" + pytesseract.image_to_string(gray))
print("验证码为:"+ pytesseract.image_to_string(bw))

  
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17

11

4、处理复杂验证

可以使用验证码服务:https://2captcha.com/https://deathbycaptcha.com/user/login
除了人工处理复杂的验证码,还可以通过机器学习和深度学习的只是,对图形验证码进行学习
也就是尽可能的让机器背住答案,当需要验证时,机器只要背出答案即可。

文章来源: buwenbuhuo.blog.csdn.net,作者:不温卜火,版权归原作者所有,如需转载,请联系作者。

原文链接:buwenbuhuo.blog.csdn.net/article/details/105312029

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。