基于YOLOv2和传感器的多功能门禁系统
文章和项目源码已经归档至【Github仓库:https://github.com/timerring/face-recognition-door 】或者公众号【AIShareLab】回复 人脸识别门禁 也可获取。
1.通信系统制作方案概述
项目演示视频: 基于YOLOv2和传感器的多功能门禁系统
1.1系统设计的立意
此处略。
1.2系统的主要组成
设计基于 YOLOv 2 的人脸识别门禁系统,主要由成品模块组成。具体包含:K210 Maix Bit、配套24PIN DVP 摄像头及 LCD 屏、SG90舵机、HC-SR501人体红外感应模块、MFRC-522射频模块、HC-05蓝牙模块、有源蜂鸣器、32G SD 内存卡及读卡器、4位独立按键。
1.3系统的制作方案
1.3.1制作方案框图
1.3.2制作方案原理描述
初步设立门禁系统三大模式,等待、门禁及录入模式。
等待模式无人时显示屏全黑只显示 waiting…;门禁模式打开摄像头锁定人脸显示比对精度(百分制)与识别框,此时 RFID 数据通道打开,并在左上角标注所处模式;
录入模式打开摄像头锁定人脸显示采样进度与识别框,此时蓝牙通道打开,并在左上角标注所处模式,默认等待模式。使用 K210 MAIXBIT 做主控,当红外感知模块检测到人时,屏幕亮起,可识别人脸但无反应(红外感知模块可调节灵敏度与延时,但过于灵敏会导致画面卡顿,反之则检测效果不理想)。使用独立按键切换到录入或门禁模式,30s 未检测到人脸自动进入等待黑屏模式。
录入模式时,使用移动端 app 调试全能王连接蓝牙模块并发送指令:
- 输入“
register****
”(****
代表录入人脸编号)后按照 yolo v 2 算法采集 196 维人脸数据(3 轮 18 次采样),并储存在 SD 卡文件中,且屏幕显示采样进度,录入完成屏幕显示“successful”,蜂鸣器发低声。 - 输入“
delete****
”则删除对应用户储存在 SD 卡的特征值,蜂鸣器发高声。 - 输入“
erase
”则删除 SD 卡内所有用户人脸特征值,蜂鸣器发高声。 - 输入“
open
”则无条件控制舵机旋转。
门禁模式时,设定比对阈值,高于则蜂鸣器发低声且舵机旋转,低于则蜂鸣器发高声舵机无反应。此外 RFID 数据通道开通,我们已给两张 S50标准卡与异形卡相同扇区注入不同信息,分别会有舵机与蜂鸣器的不同响应情形,当其他 RFID 卡靠近则默认发生系统错误并发出独有蜂鸣器声音(可以修改)。
1.4系统方案的可行性论证
技术可行性分析:
深度学习算法和神经网络理论已有较成熟应用,图像识别、人脸识别等领域有较多成功案例,技术上实现人脸识别门禁系统是可行的。传感器技术也比较成熟,可以采集人脸图像和相关生物特征,作为识别的输入。系统集成方面,人脸识别算法、传感器技术和门禁系统的结合也是现有技术可以实现的。经济可行性分析:
相关硬件成本在可接受范围内,如高清摄像头等。软件实现可以采用开源算法和框架,开发成本不高。人脸识别门禁系统可以降低人工成本,尤其适用于人流较大场景,具有较好的经济效益。操作可行性分析:
人脸识别门禁系统操作简单,易于推广使用,无需复杂训练,符合大多数人的接受习惯。该系统也便于维护和管理,可靠性较高。
综上,从技术、经济和操作等多方面考虑,基于深度学习的人脸识别门禁系统是一种可行的智能门禁方案。但是,数据安全和隐私保护也需要重点考虑,总体而言该方案是值得研究和探索的。
2.具体模块分布图及集成原理图
图2-1 人脸识别系统实操图
图2-2 通信系统原理图
3.各个模块硬件调试中遇见难题及解决方案
3.1蓝牙
HC-05蓝牙模块是一种基于蓝牙协议的简单无线通信设备。该模块基于 BC417单芯片蓝牙 IC,符合蓝牙 v2.0标准,支持 UART 和 USB 接口。
具有两种工作模式:命令响应工作模式和自动连接工作模式。
当模块处于命令响应工作模式(或者AT模式)时能才能执行 AT 命令,用户可向模块发送各种 AT指令,为模块设定控制参数或发布控制命令。(AT指令就是我们PC与一些终端设备(例如蓝牙,WiFi模块)之间进行通信的,配置这些终端设备参数的一套指令。)在自动连接工作模式下模块又可分为主(Master)、从(Slave)和回环(Loopback)三种工作角色。当模块处于自动连接工作模式时,将自动根据事先设定的方式连接的数据传输。主模式:该模块可以主动搜索并连接其它蓝牙模块并接收发送数据。从模式:只能被搜索被其它蓝牙模块连接进行接收发送数据。回环:蓝牙模块就是将接收的数据原样返回给远程的主设备。
初次使用模块由于不知道蓝牙模块密码,故需要再使用 TTL 转串口模块,使用 AT 指令查询和修改蓝牙名称与密码。
图3-1正点原子XCOM串口调试助手图
3.2蜂鸣器
蜂鸣器主要用于功能实现的提示音,一开始使用了低电平的蜂鸣器,导致一直响以为是代码不当导致的功能卡顿,多次检查后发现和代码无关,后来选取了高电平触发的蜂鸣器得以成功得到提示音。
3.3红外感知模块
红外模块用来感知是否有人在使用,从而开启或者关闭识别元件,红外检测器件的使用难点在于灵敏性调整,需要仔细修改,否则就会导致过快或者不进入休眠模式,从而影响使用。除此之外,不准确的红外检测还会导致器件反应过慢等等的问题,所以在红外器件的修改上下了很多时间才得到比较准确的识别数据。
3.4矩阵键盘
用于模式转换,录入人脸模式和正常使用模式,安装需要注意连接线。
3.5 RFID
RFID模块:标签进入磁场后,接收解读器发出的射频信号,凭借感应电流所获得的能量发送出存储在芯片中的产品信息(Passive Tag,无源标签或被动标签),或者由标签主动发送某一频率的信号(Active Tag,有源标签或主动标签),解读器读取信息并解码后,再进行有关数据处理。在RFID模块的设计中,为了方便地将标签的信息进行区分,首先设计了不同权限卡之间的对应规则,分别设计了存储信息中Y开头的万能通用卡,N开头的带有序号的普通用户权限卡,以及未规定的其他RFID卡,然后按照设定写了读卡器的写入程序,将对应的规则写入测试卡片,并且对卡片进行了测试。具体要将RFID验证模块加入到哪个环节之中,我们也对应地做了测试,所有流程都会回到普通模式,因此最开始是将RFID是加入在普通模式下,但是经过实际地测试与检验后,发现普通模式并不适合加入RFID模块,应该在检测到有人存在时再启动RFID。 其一,当门禁系统不被使用时,启动RFID模块会浪费大量的能源。通过检测到有人存在再启动RFID模块,可以最大程度地节省能源,降低系统的运行成本。其二,在门禁系统中,启动RFID模块是为了实现对进出人员的身份识别和控制。通过检测到有人存在后再启动RFID模块,可以确保门禁系统只对授权人员开放,提高门禁系统的安全性。最后综合考虑,将RFID模块放置在门禁模式之下。
3.6人脸识别模块
由k210芯片,摄像头和LED显示屏组成,用于识别用户脸部数据决定是否开启舵机。原理是YOLO 人脸识别,是一种基于深度学习的目标检测算法,它可以在一张图像中同时检测出多个目标,并且实时性能非常好。YOLO 模型的识别原理是通过将图像分成名个网格,然后对每个网格进行预测,最终将所有网格的预测结果合并起来得到最终的检迎结果。YOLO 模型的输入是一张图像,输出是每个目标的类别、位置和置信度。在训练阶段,YOLO 模型会学习如何将图像分成多个网格,并且对每个网格进行预测。每个网格的大小可以根据图像的大小 或者目标的大小进行调整。对于每个网格,YOLO 模型会预测出多个边界框,每个边界框包含了一个日标的位置和大小信息。同时,YOLO模型还会预测出每个边界框对应的目标的类别和置信度。除了写入训练的数学模型外,还需要设置识别的准确数据分数,超过标准才可以运行下一步功能。还需协调模型的数据存储和循环量,以免占用过多的数据空间,造成大量数据冗余,导致死机。
3.7舵机
SG 90舵机需要使用正确的通信协议与门禁系统的其他部件进行通信。在门禁系统中使用SG 90舵机时,应该选择适当的通信协议,例如PWM或者串口通信,并确保通信协议的准确性和稳定性。
4.开发平台介绍及代码思路简介
4.1 yolo v2算法介绍
图4-1 YOLOv2原理图
- 输入图片被分成 S x S 个网格(cell),每个网格负责检测该网格内是否存在目标物体。
- 对于每个网格,预测出 B 个边界框(bounding box),每个边界框包括(x, y, w, h, confidence)五个元素,其中(x, y)是边界框中心的坐标,w 和 h 是边界框的宽和高,confidence 表示该边界框中包含目标物体的置信度。
- 对于每个边界框,计算它与 ground truth(真实标注的物体位置)的 IoU(交并比),并选取 IoU 最大的边界框作为该物体的预测框。
- 使用非极大值抑制(NMS)方法来剔除重叠的预测框,最终输出预测结果。
关于IoU:
IoU 是交并比(Intersection over Union)的缩写,是一种用于衡量目标检测算法检测准确性的指标。它是通过计算预测框和 ground truth(真实标注的物体位置)之间的重叠程度来得出的。具体来说,IoU 是预测框和 ground truth 的交集面积除以它们的并集面积,即:
IoU = Intersection over Union = Intersection / Union
其中,Intersection表示预测框和ground truth的交集面积,Union表示它们的并集面积。IoU的取值范围在0到1之间,取值越大表示检测准确性越高。一般来说,当IoU大于某个阈值时,我们就认为预测框和ground truth匹配成功,可以将其作为检测结果;反之则认为匹配失败。
在目标检测算法中,通常会使用IoU作为评价指标来衡量算法的准确性。比如,在YOLOv2算法中,会使用IoU来选取每个边界框中与ground truth匹配的框。在训练过程中,如果预测框与ground truth之间的IoU大于某个阈值,我们就认为这个预测框是正确的,并计算它的损失函数;反之则认为它是错误的,不参与损失函数的计算。通过不断地调整模型参数,最终可以得到一个准确性较高的目标检测算法。
关于NMS:
非极大值抑制(Non-Maximum Suppression,NMS)是一种用于目标检测算法中的后处理方法,主要用于剔除重叠的预测框,保留最准确的预测结果。在目标检测算法中,一些目标可能会被多个预测框所检测到,这些预测框之间可能存在重叠。在这种情况下,我们需要对这些预测框进行筛选,保留最准确的预测结果。NMS方法就是用来完成这个任务的。NMS的基本原理如下:
- 对所有预测框按照其置信度(confidence)进行排序,从置信度最高的预测框开始遍历。
- 对于当前遍历到的预测框,计算它与之前已经选中的预测框的 IoU(交并比),如果 IoU 大于某个阈值(如0.5),则将该预测框剔除,否则保留该预测框。
- 重复步骤2和3,直到遍历完所有的预测框。
通过这个过程,NMS方法可以将多个重叠的预测框剔除,保留最准确的预测结果。NMS方法可以有效地解决目标检测算法中的多框问题,提高检测准确性。需要注意的是,NMS方法的效果受到阈值的影响。如果阈值较高,那么将会保留更少的预测框,可能会漏检一些目标;如果阈值较低,那么将会保留更多的预测框,可能会增加误检的概率。
同时,为了提高准确性和速度,YOLOv2采用了一些技巧:
- Darknet-19网络:YOLOv2使用了一个19层的卷积神经网络 Darknet-19来提取特征。该网络比 VGG16等经典网络更轻量,同时具有更好的准确性。
- Anchor Boxes:YOLOv2在每个网格上预测 B 个边界框,而不是像 YOLOv1一样只预测一个。此外,YOLOv2使用了 Anchor Boxes,即预定义的边界框,来提高检测准确性。在训练过程中,YOLOv2通过调整 Anchor Boxes 和预测框的位置和大小来进行目标检测。
- Batch Normalization:在 Darknet-19网络中使用 Batch Normalization 来加速收敛和提高准确性。
- High Resolution Classifier:YOLOv2使用了一个高分辨率的分类器来提高检测准确性。具体来说,在训练时,YOLOv2将输入图片的分辨率提高到608x608,而在测试时,将其缩小到416x416,以加快处理速度。
- Convolutional With Anchor Boxes (CWA):YOLOv2引入了一种新的卷积层,称为 Convolutional With Anchor Boxes (CWA)。该层同时计算多个 Anchor Boxes 的位置和置信度,以提高检测准确性和速度。
总的来说,YOLOv2是一个快速且准确的目标检测算法,它的核心思想是将目标检测问题转化为一个回归问题,并使用神经网络来解决。通过使用Anchor Boxes、Batch Normalization、High Resolution Classifier和Convolutional With Anchor Boxes等技巧,YOLOv2在准确性和速度方面都有所提高。
4.2 开发平台
开发环境:MaixPy IDE
MaixPy IDE 是一款基于 Python 语言的集成开发环境(IDE),主要用于开发和调试 MaixPy(开源的嵌入式人工智能框架)项目。MaixPy IDE 提供了一系列功能,包括代码编辑、调试、编译、下载、串口调试、固件升级等,方便用户对 MaixPy 进行开发和调试。
烧录环境:kflash_gui
kflash_gui是一款开源的图形化固件烧录工具,用于将固件烧录到Kendryte K210芯片上。K210是一款基于RISC-V架构的高性能、低功耗的嵌入式处理器,广泛应用于物联网、人工智能等领域。kflash_gui是Kendryte K210的官方固件烧录工具,提供了一系列功能,包括固件下载、擦除、烧录、调试等。kflash_gui基于Python语言和PyQt库开发,支持命令行和GUI两种模式。用户可以通过命令行模式进行批量烧录等高级操作,也可以通过GUI模式进行简单易用的固件烧录。kflash_gui还提供了一些高级功能,如自动检测串口、自动切换烧录模式、支持多种烧录设备等,方便用户进行高效的固件烧录。
串口调试环境:XCOM
- 支持多个常用波特率,支持自定义波特率
- 支持5/6/7/8位数据,支持1/1.5/2个停止位
- 支持奇/偶/无校验
- 支持16禁止发送/接收显示,支持DTR/RTS控制
- 支持窗口保存,并可以设置编码格式
- 支持延时设置,支持时间戳功能
- 支持定时发送,支持文件发送,支持发送新行
- 支持多条发送,并关联数字键盘,支持循环发送
- 支持无限制扩展条数,可自行增删
- 支持发送条目导出/导入(excel格式)
- 支持协议传输(类modbus)
- 支持发送/接收区字体大小、颜色和背景色设置
- 支持简体中文、繁体中文、英文三种语言
- 支持原子软件仓库
4.3代码解析
图4-3 代码流程图
从左到右依次将代码模块化为三个模块,分别是人脸数据采集模块,人脸信息录入模块,人脸蓝牙RFID综合验证模块。下面依次对三个模块的思路进行解析:
首先是人脸数据采集模块,这段代码是一个人脸识别的应用程序,主要分为以下几个步骤:首先设置各种标志位和参数,包括是否检测到人、是否录入、查找模式、人脸对比置信度等。
然后执行以下操作:
a. 调用 check_key()函数,可能用于检测设备是否已经授权使用相关的模型。
b. 调用sensor.snapshot()函数获取一张图像。
c. 使用kpu.run_yolo2()函数对输入的图像进行人脸检测,返回一个包含检测结果的列表code。
d. 如果检测到人脸,程序会遍历code中的每个检测结果,计算人脸框的面积,并选择面积最大的人脸进行处理。
e. 使用 img.draw_rectangle()函数在原图像上绘制人脸框,然后使用 img.cut()函数对原图像进行裁剪,得到人脸图像。
f. 对人脸图像进行特征点检测,得到人脸的五个关键点坐标,使用img.draw_circle()函数在原图像上绘制出这些关键点的位置。
g. 使用这些关键点的坐标计算人脸的仿射变换矩阵,并使用image.get_affine_transform()函数计算变换矩阵,将人脸图像进行对齐,得到标准的人脸图像。
h. 使用kpu.forward()函数对对齐后的人脸图像进行特征提取,再使用kpu.face_encode()函数将特征向量进行编码。
i. 遍历预先录入的人脸特征列表,使用kpu.face_compare()函数计算当前人脸特征向量与列表中每个特征向量的相似度得分,并选择得分最高的特征向量,返回其在列表中的索引,用于识别当前人脸是否为已知人脸。
j. 根据人脸识别结果,可以执行不同的操作,如录入新人脸特征、查找已知人脸特征,或者进行相应的提示和处理。
代码详细注释如下:
# 设置各种flag
no_people = 0 # 是否无人
no_flag = 0
delline = []
check_num = 0
shibie_num = 0
uart.read()
# 设置人脸对比置信度
ACCURACY = 75
# 录入模式flag
luru_flag = 0
# 查找模式flag
find_flag = 0
feature = ''
max_score = 0
index = 0
while (1):
# 程序首先调用了check_key()函数,该函数可能用于检测设备是否已经授权使用相关的模型。
check_key()
# 调用了sensor.snapshot()函数获取一张图像。
img = sensor.snapshot()
# 使用kpu.run_yolo2()函数对输入的图像进行人脸检测,返回一个包含检测结果的列表code。
code = kpu.run_yolo2(task_fd, img)
max_score = 0
# 如果code不为空,即检测到人脸,程序会遍历code中的每个检测结果,计算人脸框的面积,并选择面积最大的人脸进行处理。
if code:
t = 0
max_face = 0
totalRes = len(code)
area = []
# 如果检测到的人脸数大于1,则只处理面积最大的人脸。
if totalRes > 1: #多张人脸时,挑选面积最大的,一般即最前面的
for i in code: # 迭代坐标框 多张人脸
area.append(i.w()*i.h())
for j in range(len(area)):
if max_face < area[j]:
max_face = area[j]
t = j #保存最大脸面积下标
totalRes = 1
del area
if totalRes == 1: #只有一张脸
i = code[t]
# 首先使用img.draw_rectangle()函数在原图像上绘制人脸框
# Cut face and resize to 128x128
a = img.draw_rectangle(i.rect())
# 然后使用img.cut()函数对原图像进行裁剪,得到人脸图像。
face_cut = img.cut(i.x(), i.y(), i.w(), i.h())
# 使用img.resize()函数将人脸图像缩放为128x128大小
face_cut_128 = face_cut.resize(128, 128)
# 使用img.pix_to_ai()函数将图像转换为KPU能够处理的格式。
a = face_cut_128.pix_to_ai()
# a = img.draw_image(face_cut_128, (0,0))
# Landmark for face 5 points
# 程序使用kpu.forward()函数对人脸图像进行特征点检测,得到人脸的五个关键点坐标。
fmap = kpu.forward(task_ld, face_cut_128)
plist = fmap[:]
le = (i.x() + int(plist[0] * i.w() - 10), i.y() + int(plist[1] * i.h()))
re = (i.x() + int(plist[2] * i.w()), i.y() + int(plist[3] * i.h()))
nose = (i.x() + int(plist[4] * i.w()), i.y() + int(plist[5] * i.h()))
lm = (i.x() + int(plist[6] * i.w()), i.y() + int(plist[7] * i.h()))
rm = (i.x() + int(plist[8] * i.w()), i.y() + int(plist[9] * i.h()))
# 使用img.draw_circle()函数在原图像上绘制出这些关键点的位置。
a = img.draw_circle(le[0], le[1], 4)
a = img.draw_circle(re[0], re[1], 4)
a = img.draw_circle(nose[0], nose[1], 4)
a = img.draw_circle(lm[0], lm[1], 4)
a = img.draw_circle(rm[0], rm[1], 4)
# align face to standard position
src_point = [le, re, nose, lm, rm]
# 程序使用这些关键点的坐标计算人脸的仿射变换矩阵,并使用image.get_affine_transform()函数计算变换矩阵。
T = image.get_affine_transform(src_point, dst_point)
# 使用image.warp_affine_ai()函数将人脸图像进行对齐,得到标准的人脸图像。
a = image.warp_affine_ai(img, img_face, T)
# 然后,程序使用img.ai_to_pix()函数将对齐后的图像转换为原图像能够显示的格式。
a = img_face.ai_to_pix()
# a = img.draw_image(img_face, (128,0))
del (face_cut_128)
# calculate face feature vector
# 程序使用kpu.forward()函数对对齐后的人脸图像进行特征提取
fmap = kpu.forward(task_fe, img_face)
# 使用kpu.face_encode()函数将特征向量进行编码
feature = kpu.face_encode(fmap[:])
reg_flag = False
scores = []
# 程序遍历预先录入的人脸特征列表
for j in range(len(record_ftrs)):
# 使用kpu.face_compare()函数计算当前人脸特征向量与列表中每个特征向量的相似度得分。
score = kpu.face_compare(record_ftrs[j], feature)
scores.append(score)
max_score = 0
index = 0
# 最终,程序选择得分最高的特征向量,并返回其在列表中的索引。这个索引可以用于识别当前人脸是否为已知人脸。
for k in range(len(scores)):
if max_score < scores[k]:
max_score = scores[k]
index = k
其次是人脸信息录入模块,主要分为以下几个步骤:
- 如果检测到当前画面中存在人脸,且识别率超过预设值,程序会在屏幕上显示提示信息“Face Exist”,然后继续循环,等待下一张图像的检测和处理。
- 如果检测到人脸特征,程序会记录当前采集的人脸数量,每检测到一次人脸就加 1,并在屏幕上显示当前采样进度。程序会间隔录入,每采集 6 次人脸特征就将当前特征加入到临时特征值列表中。
- 如果已采集到 18 次人脸特征,表示录入结束,程序会将当前特征添加到已知特征列表中,并将编号添加到 names 列表中。然后程序会尝试打开 SD 卡上的 faceinfo. Txt 文件,并以追加模式写入数据。写入完成后,程序会将当前特征添加到已知特征列表中,并将编号添加到 names 列表中。同时清空临时特征值列表和采集次数,显示录入成功或失败的提示信息,并进行蜂鸣器声音提示。最后退出录入任务并回到正常模式。
- 如果保存到 SD 卡失败,则按键次数清零,check_num 清零,编号清空,并显示录入失败的提示信息。
- 最后,程序会删除code变量,释放内存空间。
代码详细注释如下:
# 执行录入任务
if luru_flag == 1:
# 如果检测到当前画面中存在人脸,且识别率超过预设值
if max_score > ACCURACY:
# 人脸采集次数清零
check_num = 0
# 在屏幕上显示提示信息“Face Exist”
a = img.draw_string(200,0, b'Face Exist', color=(255,0,0),scale=1.6,mono_space=1) #提示人脸已存在
# 在屏幕上显示图像
a = lcd.display(img)
# 继续循环,等待下一张图像的检测和处理
continue
# 如果检测到人脸特征
if code:
# 记录当前采集的人脸数量,每检测到一次人脸就加1
check_num = check_num + 1 #检测到一次人脸则加 1
# 在屏幕上显示当前采样进度
a = img.draw_string(5,40, b'%d'%check_num, color=(0,255,0),scale=1.4,mono_space=1) #显示采样进度
# 间隔录入,每采集6次人脸特征就将当前特征加入到临时特征值列表中
if check_num % 6 == 0 and check_num != 0:
record_ftrtemp.append(feature) #加入当前人脸特征
# 如果已采集到18次人脸特征,表示录入结束
if check_num == 18:
# 录入成功标志位设为1
save_success = 1
try:
# 尝试打开SD卡上的faceinfo.txt文件,并以追加模式写入数据
with open("/sd/faceinfo.txt", "a") as f:
for i in range(len(record_ftrtemp)): #循环遍历临时特征值列表,写入SD卡
f.write(stu_num+'#'+str(record_ftrtemp[i]))
# 每个特征值占一行
f.write("\n")
# 关闭文件
f.close()
except Exception:
save_success = 0 #表示保存到SD卡失败了
pass
# 如果保存到SD卡成功,则将当前特征添加到已知特征列表中,并将学号添加到names列表中;同时清空临时特征值列表和采集次数,显示录入成功的提示信息,并进行蜂鸣器声音提示;最后退出录入任务并回到正常模式。
if save_success == 1:
#将当前特征添加到已知特征列表,学号添加到names
for i in record_ftrtemp:
record_ftrs.append(i)
names.append(stu_num)
record_ftrtemp.clear() #清空临时特征值列表
# 在屏幕上显示录入成功的提示信息
a = img.draw_string(0,5, b'Success!', color=(255,0,0),scale=1.4,mono_space=1) #录入成功
# 在屏幕上显示图像
a = lcd.display(img)
#蜂鸣器声音提示
beep.enable()
beep.freq(1000)
time.sleep(2)
beep.disable()
luru_flag = 0 # 退出录入任务
# 回到正常模式
LuRu_mode = False # 录入模式
Door_mode = False # 门禁模式
Normal_mode = True # 正常模式
#如果保存到SD卡失败,则按键次数清零,check_num清零,学号清空
else:
a = img.draw_string(0,5, b'Fail!', color=(255,0,0),scale=1.4,mono_space=1) #录入失败
#蜂鸣器声音提示
beep.enable()
beep.freq(600)
time.sleep(2)
beep.disable()
luru_flag = 0 # 退出录入任务
# 回到正常模式
LuRu_mode = False # 录入模式
Door_mode = False # 门禁模式
Normal_mode = True # 正常模式
# 删除code变量,释放内存空间。
del code
最后是人脸蓝牙RFID综合验证模块,这个模块相较于前面两个模块,逻辑设计较为复杂,首先判断是否检测到人:程序首先会检测人是否出现在门禁的监控区域,如果有人,则将 no_flag 置为1。同时进行垃圾回收,程序会定期进行垃圾回收,以释放不再使用的内存空间。再接收蓝牙数据:程序会读取蓝牙模块发送的数据,如果读取到了数据且长度大于等于2,则进行后续的处理。
a. 如果读取到的蓝牙数据中包含 ‘open’,则程序会将舵机旋转以打开门禁,以实现临时门禁的功能。
b. 如果读取到的蓝牙数据中包含 ‘erase’,执行删除全部用户的操作。具体来说,代码实现了以下功能:
- 如果读取到的蓝牙数据中包含 ‘erase’,则执行内部代码块。
- 清空名称列表、特征值列表和人脸信息文件。
- 打开人脸信息文件,并将其内容清空。清空图像缓存。
- 绘制矩形和字符串,并在 LCD 屏幕上显示图像。
- 发出蜂鸣器声音提示。
c. 如果读取到的蓝牙数据中包含 ‘delete’ ,执行删除指定用户的操作。具体来说,代码实现了以下功能:
- 如果读取到的蓝牙数据中包含 ‘delete’,则执行内部代码块。截取出要删除的编号,并打印输出。
- 逐行读取人脸信息文件,查找要删除的编号,并记录要删除的行数。
- 如果找到了要删除的行,则打开人脸信息文件,删除指定行,并重新写入文件。
- 从名称列表和特征值列表中删除指定的用户。
- 绘制矩形和字符串,并在 LCD 屏幕上显示图像。发出蜂鸣器声音提示。
- 将程序回到正常模式。
d. 如果当前处于录入模式,则在 LCD 屏幕上显示“Register Mode”字样。如果读取到的蓝牙数据中包含 ‘register’,则执行人脸注册操作。
- 截取出要注册的编号,并打印输出。判断该编号是否已经被录入,如果已经被录入,则在 LCD 屏幕上显示“ID Exist!”字样,并在屏幕上显示红色矩形区域,发出蜂鸣器声音提示,并回到正常模式;否则,设置录入标志位为 1。
- 如果录入标志位为 1,则进行人脸录入操作。
- 检测到人脸后,提取人脸特征,并将其添加到特征值列表 record_ftrs 中。将编号和姓名组合成一个字符串,并添加到名称列表 names 中。发出蜂鸣器声音提示。将录入标志位设置为 0。
- 将程序回到正常模式。
e. 如果当前处于门禁模式,脚本初始化 RFID 模块并尝试从中读取数据。如果检测到有效的 RFID 卡片,代码将读取卡片数据并根据不同卡片内容执行相应的操作。如果卡片包含预期数据,则触发一个绿色 LED 和一个舵机来打开门锁。如果卡片包含无效数据,则触发一个红色 LED 和一个蜂鸣器来警告用户。此外,为了更加丰富使用场景,这里还预留了一个万能卡的对应信息,保证管理员可以在特殊情况下进行无限制开门。
除了 RFID 部分,“门禁模式”还同时运行人脸识别算法。如果检测到人脸,比较当前人脸与存储人脸相似的置信度,如果识别的置信度高于设定的阈值,则触发与有效 RFID 卡片相同的操作,控制舵机打开门禁并且显示绿灯。如果人脸识别分数低于设定的阈值,显示分数,并计数,如果计数超过3次则表示人脸识别失败,开启红灯并发出蜂鸣器声音
f. 如果当前处于正常模式,设置录入标志和检查数字为 0,使用 LCD 显示屏显示“等待…”,并将标志位 no_people 设置为 0。如果当前没有人在操作,程序会将 LCD 清空并显示“休眠中…”,并将标志位 no_people 设置为 1。程序会在适当的时候调用 del img 和 gc.collect() 来回收内存。其中,del img 用于删除 img 对象占用的内存,而 gc.collect() 用于回收未被使用的内存。
代码详细注释如下:
# 有人的时候LCD显示摄像头的拍摄画面
if people_find.value() == 1:
no_flag = 1
# 接收蓝牙数据
# 垃圾回收
gc.collect()
# 读取蓝牙数据
text = uart.read()
if text != None and len(text) >= 2: #如果读取到了数据,且大于等于2
# 临时开门禁
# 如果蓝牙数据中包含 'open'
if 'open' in text:
print("--------蓝牙开门--------")
# 舵机旋转
Servo(SS,90)
time.sleep(2)
Servo(SS,0)
# 删除全部用户命令
# 如果蓝牙数据中包含 'erase'
if 'erase' in text:
print("--------删除全部用户--------")
# 清空名称列表、特征值列表和人脸信息文件
names.clear()
record_ftrs.clear()
# 打开文件
file_new = open('/sd/faceinfo.txt', 'w')
# 写入空字符串
file_new.write(''.join(''))
# 关闭文件
file_new.close()
# 清除图像
img.clear()
# 绘制矩形
img.draw_rectangle((90, 85, 140, 70), fill=True, color=(0, 0, 255))
# 绘制字符串
img.draw_string(110, 112, "delete all", color=(255, 255, 255), scale=1.5, mono_space=0)
# 在LCD屏幕上显示图像
lcd.display(img)
#蜂鸣器声音提示
beep.enable()
beep.freq(1000)
time.sleep(2)
beep.disable()
a = img.clear()
# 删除用户命令
# 如果蓝牙数据中包含 'delete'
if 'del' in text:
print("--------删除用户--------")
delnum = text[3:].decode('utf-8') #截取出删除的学号
print('删除的学号: ', delnum)
print(delnum)
del text
k=-1
# 打开人脸信息文件
with open('/sd/faceinfo.txt', 'r') as f:
while(1):
# 逐行读取文件内容
thisline=f.readline()
if not thisline:
# 如果文件已读完
break
# 计数器加1
k=k+1
# 判断是否找到要删除的学号
result = delnum in thisline
# 如果找到了第一个匹配项
if result==True and find_flag == 0:
# 标记为找到
find_flag=1
print('ok')
# 如果找到了多个匹配项
if result==True and find_flag == 1:
# 记录要删除的行数
delline.append(k)
# 如果匹配项已结束
if result==False and find_flag == 1:
# 标记为未找到
find_flag = 0
break
# 关闭文件
f.close()
# 如果SD卡中有此人,那么就删除,
if delline:
# 按行读入,删除最后一行
# 打开文件
file_old = open('/sd/faceinfo.txt', 'r')
# 逐行读取文件内容
lines = [i for i in file_old]
# 删除指定行数
del lines[int(delline[0]):int(delline[-1])+1]
# 关闭文件
file_old.close()
del file_old
# 清空要删除的行数列表
delline.clear()
# 再覆盖写入
# 打开文件
file_new = open('/sd/faceinfo.txt', 'w')
# 将修改后的内容写入文件
file_new.write(''.join(lines))
# 关闭文件
file_new.close()
del lines
##删除姓名列表和特征值列表中的数据
#print('之前',names)
i = 0
# 清空名称列表
temp_num = ''
names = []
# 清空特征值列表
record_ftrs = []
# 垃圾回收
gc.collect()
try:
# 打开人脸信息文件
with open("/sd/faceinfo.txt", "r") as f:
while(1):
# 垃圾回收
gc.collect()
# 逐行读取文件内容
lin = f.readline()
# 如果文件已读完
if not lin:
break
stunum = lin[0:lin.index('#')] #获取学号
lin = lin[lin.index('#')+1:] #截取除了学号以外的字符串
stu_name = lin[0:lin.index('#')] #获取姓名
names.append(stunum+'#'+stu_name) #追加到姓名列表
lin = lin[lin.index('#')+1:] #截取人脸特征
record_ftrs.append(eval(lin)) #向人脸特征列表中添加已存特征
except:
pass
# 垃圾回收
gc.collect()
# 清除图像
img.clear()
# 绘制矩形
img.draw_rectangle((90, 85, 140, 70), fill=True, color=(0, 0, 255))
# 绘制字符串
img.draw_string(110, 112, "delete %s"%delnum, color=(255, 255, 255), scale=1.5, mono_space=0)
# 在LCD屏幕上显示图像
lcd.display(img)
#蜂鸣器声音提示
beep.enable()
beep.freq(1000)
time.sleep(2)
beep.disable()
a = img.clear()
# 回到正常模式
LuRu_mode = False # 录入模式
Door_mode = False # 门禁模式
Normal_mode = True # 正常模式
else:
a = img.clear()
# 绘制矩形
a = img.draw_rectangle((90, 85, 140, 70), fill=True, color=(0, 0, 255))
# 绘制字符串
a = img.draw_string(118, 112, "No people!", color=(255, 255, 255), scale=1.5, mono_space=0)
# 在LCD屏幕上显示图像
a = lcd.display(img)
#蜂鸣器声音提示
beep.enable()
beep.freq(600)
time.sleep(2)
beep.disable()
a = img.clear()
# 回到正常模式
LuRu_mode = False # 录入模式
Door_mode = False # 门禁模式
Normal_mode = True # 正常模式
# 检测按键
# 录入模式按键
if LuRu_mode:
try:
# 在屏幕上显示“录入模式”字样
a = img.draw_string(0,0, b'Register Mode', color=(0,255,0),scale=1.6,mono_space=1)
except:
pass
# 判断蓝牙数据是否读取到并且长度大于等于2
if text != None and len(text) >= 2: #如果读取到了数据,且大于等于2
# 判断是否收到“register”命令,如果是则进行人脸注册
if 'register' in text:
print("--------人脸注册--------")
stu_num = text[2:].decode('utf-8') # 截取出学号
print('学号: ', stu_num)
# 判断该学号是否已被录入
# 如果该学号已经被录入,显示“ID Exist!”字样,并在屏幕上显示红色矩形区域
if stu_num in names:
a = img.clear()
a = img.draw_rectangle((90, 85, 140, 70), fill=True, color=(0, 0, 255))
a = img.draw_string(118, 112, "ID Exist!", color=(255, 255, 255), scale=1.5, mono_space=0)
a = lcd.display(img)
#蜂鸣器声音提示
beep.enable()
beep.freq(600)
time.sleep(2)
beep.disable()
# 回到正常模式
LuRu_mode = False # 录入模式
Door_mode = False # 门禁模式
Normal_mode = True # 正常模式
# 如果学号没有被录入,进行下一步录入
else:
# 设置录入标志位为1
luru_flag = 1
# 门禁模式按键
if Door_mode:
# 录入标志位设置为0
luru_flag = 0
# 校验次数设置为0
check_num = 0
# 在屏幕上显示“门禁模式”字样
a = img.draw_string(0,0, b'Entrance Mode', color=(0,255,0),scale=1.6,mono_space=1)
# ================================== RFID ================================
# time.sleep(2)
# from micropython import const
#############################################
#continue_reading = True
# 20: CS_NUM;
fm.register(CS_NUM, fm.fpioa.GPIOHS20, force=True)
# set gpiohs work mode to output mode
cs = GPIO(GPIO.GPIOHS20, GPIO.OUT)
spi1 = SPI(SPI.SPI_SOFT, mode=SPI.MODE_MASTER, baudrate=SPI_FREQ_KHZ * 1000,
polarity=0, phase=0, bits=8, firstbit=SPI.MSB, sck=SPI_SCK, mosi=SPI_MOSI, miso=SPI_MISO)
# Create an object of the class MFRC522
MIFAREReader = MFRC522(spi1, cs)
# time.sleep_ms(300)
# Scan for cards
(status, ataq) = MIFAREReader.MFRC522_Request(MIFAREReader.PICC_REQALL)
# If a card is found
if status == MIFAREReader.MI_OK:
# 如果卡片被找到,打印卡片类型和UID
print("Card detected type: ",hex(ataq[0]<<8|ataq[1]))
# Get the UID of the card
(status, uid) = MIFAREReader.MFRC522_Anticoll()
# If we have the UID, continue
if status == MIFAREReader.MI_OK:
# Print UID
print("Card read UID: " +
str(uid[0])+","+str(uid[1])+","+str(uid[2])+","+str(uid[3]))
# This is the default key of M1(S50) for authentication
# M1卡片的默认密钥
key = [0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF]
# Select the scanned tag
# 选择扫描到的标签
MIFAREReader.MFRC522_SelectTag(uid)
# Authenticate
# 验证卡片密钥
status = MIFAREReader.MFRC522_Auth(
MIFAREReader.PICC_AUTHENT1A, 0x12, key, uid)
# Check if authenticated
# 检查是否验证成功
#if status == MIFAREReader.MI_OK:
# 示例:定义一个包含16个元素的列表,并将第一个元素设为'Y'
##data = ['Y',0,0,0,0,0,0,0,0,0,0,0,0,0,0,0]
##data = ['N',0,0,0,0,0,0,0,0,0,0,0,0,0,0,0]
## Fill the data with 0~16
#for x in range(0, 16):
#data.append(x)
## Write the data
# 向扇区0x12写入数据
#print("Sector 11 will now be filled with 1~16:")
# 使用MFRC522_Write方法将data列表写入扇区0x12
#status = MIFAREReader.MFRC522_Write(0x12, data)
# 如果验证成功,读取RFID模块中的数据
try:
if status == MIFAREReader.MI_OK:
print("start to read")
# read the data
# MIFAREReader.MFRC522_Read(0x12)
datas = MIFAREReader.MFRC522_Read(0x12)
#读出卡中的id号
strnum = ' '
strnum = chr(datas[0])+str(datas[1])+str(datas[2])+str(datas[3])+str(datas[4])
#如果第一个字符不是B则说明卡错误
if chr(datas[0]) == 'Y':
led_g.value(0) # 绿灯亮
Servo(SS,90)
time.sleep(2)
Servo(SS,0)
led_g.value(1) # 绿灯灭
if chr(datas[0]) == 'N':
#蜂鸣器声音提示
beep.enable()
beep.freq(300)
time.sleep(2)
beep.disable()
##读出卡中的姓名
#if datas[11]==0: #名字两个字
#strname = "b'"+hex(datas[5])+hex(datas[6])+hex(datas[7])+hex(datas[8])+hex(datas[9])+hex(datas[10])+"'"
#else : #名字三个字
#strname = "b'"+hex(datas[5])+hex(datas[6])+hex(datas[7])+hex(datas[8])+hex(datas[9])+hex(datas[10])+hex(datas[11])+hex(datas[12])+hex(datas[13])+"'"
#strname = eval(strname.replace('0','\\')).decode('utf8')
# Stop
MIFAREReader.MFRC522_StopCrypto1()
#else:
#print("Authentication error")
except Exception as e:
beep.enable()
beep.freq(1000)
time.sleep(2)
beep.disable()
try:
# 如果人脸识别分数高于设定的阈值,显示学号与分数,并开启绿灯
if max_score > ACCURACY:
a = img.draw_string(i.x()+4,i.y()-20, ("%s: %2.1f" % (names[index], max_score)), color=(0,255,0),scale=2) # 显示学号与分数
a = lcd.display(img)
print("--------人脸识别成功--------")
led_g.value(0) # 绿灯亮
Servo(SS,90)
time.sleep(2)
Servo(SS,0)
led_g.value(1) # 绿灯灭
shibie_num = 0
elif code:
# 如果人脸识别分数低于设定的阈值,显示分数,并计数,如果计数超过3次则表示人脸识别失败,开启红灯并发出蜂鸣器声音
img.draw_string(i.x()+4,i.y()-20, ("%s: %2.1f" % ("No",max_score)), color=(0,255,0),scale=2) # 显示分数
a = lcd.display(img)
shibie_num = shibie_num + 1
if shibie_num > 3:
shibie_num = 0
print("--------人脸识别失败--------")
led_r.value(0) # 红灯亮
beep.enable()
beep.freq(600)
time.sleep(2)
beep.disable()
led_r.value(1) # 红灯灭
except:
pass
# 删除变量code,释放内存空间
del code
# 正常模式按键
# 设置录入标志和检查数字为0,使用LCD显示屏显示“等待……”
if Normal_mode:
luru_flag = 0
check_num = 0
a = img.draw_string(0,0, b'Waiting......', color=(0,255,0),scale=1.6,mono_space=1)
## ================================== RFID ================================
## time.sleep(2)
## from micropython import const
#################### config ###################
#CS_NUM = const(18)
#SPI_FREQ_KHZ = const(600)
#SPI_SCK = const(19)
#SPI_MOSI = const(8)
#SPI_MISO = const(15)
##############################################
##continue_reading = True
## 20: CS_NUM;
#fm.register(CS_NUM, fm.fpioa.GPIOHS20, force=True)
## set gpiohs work mode to output mode
#cs = GPIO(GPIO.GPIOHS20, GPIO.OUT)
#spi1 = SPI(SPI.SPI_SOFT, mode=SPI.MODE_MASTER, baudrate=SPI_FREQ_KHZ * 1000,
#polarity=0, phase=0, bits=8, firstbit=SPI.MSB, sck=SPI_SCK, mosi=SPI_MOSI, miso=SPI_MISO)
## Create an object of the class MFRC522
#MIFAREReader = MFRC522(spi1, cs)
## time.sleep_ms(300)
## Scan for cards
#(status, ataq) = MIFAREReader.MFRC522_Request(MIFAREReader.PICC_REQALL)
## If a card is found
#if status == MIFAREReader.MI_OK:
#print("Card detected type: ",hex(ataq[0]<<8|ataq[1]))
## Get the UID of the card
#(status, uid) = MIFAREReader.MFRC522_Anticoll()
## If we have the UID, continue
#if status == MIFAREReader.MI_OK:
## Print UID
#print("Card read UID: " +
#str(uid[0])+","+str(uid[1])+","+str(uid[2])+","+str(uid[3]))
## This is the default key of M1(S50) for authentication
#key = [0xFF, 0xFF, 0xFF, 0xFF, 0xFF, 0xFF]
## Select the scanned tag
#MIFAREReader.MFRC522_SelectTag(uid)
## Authenticate
#status = MIFAREReader.MFRC522_Auth(
#MIFAREReader.PICC_AUTHENT1A, 0x12, key, uid)
## Check if authenticated
##if status == MIFAREReader.MI_OK:
###data = ['Y',0,0,0,0,0,0,0,0,0,0,0,0,0,0,0]
###data = ['N',0,0,0,0,0,0,0,0,0,0,0,0,0,0,0]
### Fill the data with 0~16
##for x in range(0, 16):
##data.append(x)
### Write the data
##print("Sector 11 will now be filled with 1~16:")
##status = MIFAREReader.MFRC522_Write(0x12, data)
#try:
#if status == MIFAREReader.MI_OK:
#print("start to read")
## read the data
## MIFAREReader.MFRC522_Read(0x12)
#datas = MIFAREReader.MFRC522_Read(0x12)
##读出卡中的id号
#strnum = ' '
#strnum = chr(datas[0])+str(datas[1])+str(datas[2])+str(datas[3])+str(datas[4])
##如果第一个字符不是B则说明卡错误
#if chr(datas[0]) == 'Y':
#led_g.value(0) # 绿灯亮
#Servo(SS,90)
#time.sleep(2)
#Servo(SS,0)
#led_g.value(1) # 绿灯灭
#if chr(datas[0]) == 'N':
##蜂鸣器声音提示
#beep.enable()
#beep.freq(300)
#time.sleep(2)
#beep.disable()
###读出卡中的姓名
##if datas[11]==0: #名字两个字
##strname = "b'"+hex(datas[5])+hex(datas[6])+hex(datas[7])+hex(datas[8])+hex(datas[9])+hex(datas[10])+"'"
##else : #名字三个字
##strname = "b'"+hex(datas[5])+hex(datas[6])+hex(datas[7])+hex(datas[8])+hex(datas[9])+hex(datas[10])+hex(datas[11])+hex(datas[12])+hex(datas[13])+"'"
##strname = eval(strname.replace('0','\\')).decode('utf8')
## Stop
#MIFAREReader.MFRC522_StopCrypto1()
##else:
##print("Authentication error")
#except Exception as e:
#beep.enable()
#beep.freq(1000)
#time.sleep(2)
#beep.disable()
a = lcd.display(img)
# 无人的时候LCD黑屏,休眠状态(录入的时候不能进入休眠状态)
# 如果没有人在操作,将LCD清空并显示“休眠中……”,并将标志位no_people设置为1。
elif luru_flag == 0:
no_people = 1
# 如果有人在操作,则将标志位no_people和no_flag都置为0,表示有人正在操作,不进行休眠。
if no_people == 1 and no_flag == 1:
no_people = 0
no_flag = 0
a = img.clear() # 清空一次LCD
# 最后,将img对象在LCD上显示出来,并回收内存。
a = img.draw_string(40,110, b'Suspending......', color=(0,255,0),scale=2,mono_space=1)
a = lcd.display(img)
# del img用于删除img对象占用的内存
del img
# gc.collect()用于回收未被使用的内存。
gc.collect()
5.各模块实操结果展示和实现指标
图5-1人脸录入成功
输入“register****
”(****
代表录入人脸编号)后按照yolo v2算法采集196维人脸数据(3轮18次采样),并储存在SD卡文件中,且屏幕显示采样进度,录入完成屏幕显示“successful”,蜂鸣器发低声。
图5-2人脸识别成功
图5-3人脸识别比对失败
门禁模式时,人脸识别框上会显示序列号和相似度,设定比对阈值,此处设置75,高于则蜂鸣器发低声且舵机旋转,低于则蜂鸣器发高声舵机无反应。
图5-4 人脸数据删除成功
输入“delete****
”则删除对应用户储存在SD卡的特征值,蜂鸣器发高声。且屏幕显示ok,输入“erase”则删除SD卡内所有用户人脸特征值,蜂鸣器发高声且屏幕显示delete all。输入“open”则无条件控制舵机旋转,用作临时开关门禁。
图5-5蓝牙app操作
图5-6删除所有人脸数据
6.可改进之处及拓展方向
6.1 不足及改进之处
此部分略。
6.2 系统方案可拓展方向
此部分略。
7.参考资料
1、RFID 学习资料
https://blog.csdn.net/HuangChen666/article/details/114024767?spm=1001.2014.3001.5506
2、K210学习系列
https://blog.csdn.net/Thousand_drive/article/details/123796878?spm=1001.2014.3001.5506
3、人脸识别学习资料
4、固件烧录、信息储存学习资料
5、蓝牙模块学习资料
[1] Zhu, X., Lei, Z., Liu, X., Shi, H., & Li, S. Z. (2018). Face recognition: From traditional to deep learning methods. Advances in Computers, 113, 1-69.
[2] AlBdairi, A.J.A.; Xiao, Z.; Alkhayyat, A.; Humaidi, A.J.; Fadhel, M.A.; Taher, B.H.; Alzubaidi, L.; Santamaría, J.; Al-Shamma, O. Face Recognition Based on Deep Learning and FPGA for Ethnicity Identification. Appl. Sci. 2022, 12, 2605. https://doi.org/10.3390/app12052605
[3] Chen, J., Liao, S., & Liu, Y. (2021). Intelligent access control system based on deep learning and IoT. Journal of Physics: Conference Series, 1821(1), 012074.
[4] Derbel, A., Vivet, D. and Emile, B. (2015), Access control based on gait analysis and face recognition. Electron. Lett., 51: 751-752. https://doi.org/10.1049/el.2015.0767
[5] A. Nag, J. N. Nikhilendra and M. Kalmath, “IOT Based Door Access Control Using Face Recognition,” 2018 3rd International Conference for Convergence in Technology (I2CT), Pune, India, 2018, pp. 1-3, doi: 10.1109/I2CT.2018.8529749.
[6] Radzi S A, Alif M K M F, Athirah Y N, et al. IoT based facial recognition door access control home security system using raspberry pi[J]. International Journal of Power Electronics and Drive Systems, 2020, 11(1): 417.
- 点赞
- 收藏
- 关注作者
评论(0)