人脸遮挡和活性检测若干软件关键技术研究

 

第1章 绪 论

 

1.1 论文研究背景

从 1965 年 chan 和 Bledsoe 在 Panoramic Research Inc 上发表学术报告开始，人脸识别已经走过了 50 多年的历史。人脸特征信息为生物固有特征，不需要外界其他标志物就能当作身份鉴定的重要特征，相较于其他生物特征信息其最大的优点就是方便采集和交互性友好。随着人脸识别的准确性、鲁棒性地提高，人脸识别迅速地进入了人们的日常生活，而不是停留在理论层面的研究工作。人脸识别、人脸检测技术越来越多的被广泛使用到各个场景，例如身份鉴定、刑事侦查、门禁考勤、档案管理、金融交易等领域。马云在德国展示的 smile to pay 刷脸支付技术也在麻省理工学院科技评论得出的全球十大突破技术之列。正因为人脸识别相关技术的大量应用，大量本因由人来做的工作被机器所替代，也因此就安全问题带来了新的挑战。新的技术带来了新的安全漏洞，特别是在安全等级较高的领域，犯罪嫌疑人的反侦察意识又都比较强烈，作案过程中都会使用墨镜、口罩、面具等等遮挡人脸有效区域，大大增加了破案与抓捕的难度，也同时增加了破案成本。近年来 ATM 机中的犯罪屡见不鲜[1]，图 1-1 显示了被遮挡的人脸在 ATM 中的场景。如果能够利用人脸遮挡检测算法构建预警机制，监控检测到遮挡大部分人脸区域的可疑人员时可进行提示或报警，则可以有效的阻止犯罪，降低犯罪率等。2017 年央视 315 晚会在北京举行，央视发布三号预警，主持人演示照片经过技术处理后便可通过人脸识别系统，暴露安全隐患[2]，如图 1-2 所示。当今个人隐私可能不再是隐私，人脸图像随处可见，不法分子可以轻易获取他人的人脸信息，从而制造假人脸骗过需要人脸识别才能登陆的系统，将造成不可预计的损失。人脸识别是针对二维图像进行有关人脸特征信息的提取，将提取到的特征信息与存放在数据库中用户注册的人脸特征信息进行匹配，根据匹配算法得到一个匹配分数，若分数超过阈值则认为待识别人脸与数据库中事先注册的用户人脸为同一个人脸，则识别到相应注册过的用户，完成人脸识别功能。实验表明普通人脸识别算法无法区分待识别人脸图像来自照片或者视频还是来自真实用户人脸，因此如何区分人脸识别过程中被识别人脸是用户真人脸还是伪造人脸已经迫在眉睫。

..........

 

1.2 国内外研究现状

 

1.2.1 人脸遮挡检测研究现状

随着犯罪事件的不断发生，摄像头监控已经遍布大街小巷，各国各业学者也都在研究智能视频监控系统，用于保障生命财产安全。近年来，大量的学者专家发表了许多篇既具有学术价值又可以应用到实际场景中的论文，为人脸遮挡研究做出了突出的贡献。总结关于人脸遮挡检测的方法主要分为以下三大类：基于检测具体遮挡物的人脸遮挡检测方法：顾名思义，该方法通过检测特定的遮挡物存在与否来判断人脸是否被遮挡，例如检测墨镜、口罩、围巾、头发[3]等等。通过提取遮挡物的特征用来识别人脸是否被遮挡，传统方法大都采用方向梯度直方图(Histogram of Oriented Gradient，HOG)[4]、局部二值模式(Local Binary Pattern，LBP)[5]、尺度不变特征变换(Scale-invariant feature transform，SIFT)[6]和 Haar-like[7]等特征提取方法提取指定特征，然后利用支持向量机（SVM）、AdaBoost 等分类模型进行关于是否存在遮挡物的二分类，以此为依据判断人脸是否被遮挡。该方法只能针对较为固定的遮挡物，且每发现一种新的遮挡物类型都需要对分类模型进行一次新的训练。文献[8][9]提出应用在自动柜员机（ATM）上的人脸遮挡检测解决方案，通过统计不同区域的颜色分布来做墨镜检测的判断，以及通过直线检测来判断口罩的存在与否。文献[10]提出了基于人脸中心线检测的人脸遮挡检测，首先检测不缺失眉毛的人脸的中心线所在位置，然后根据中心线的位置与比例确定人眼睛所在区域，再进行基于区域灰度分布图统计的方法检测墨镜，和基于直线检测的方法检测口罩。文献[11]提出了基于头盔识别的人脸遮挡检测，针对头盔检测改进了传统图像边缘检测技术，通过霍夫变换、Canny算子与 Gabor 滤波等技术进行头盔的识别。文献[12]使用自相连的神经网络分类器，针对口罩围巾类的矩形遮挡与墨镜类的椭圆形遮挡进行检测。基于特定遮挡物的人脸遮挡检测可以稳定的检测出被训练过的特定遮挡物，且速度较快，但是在实际应用场景中，遮挡物的种类多种多样，形状颜色千奇百怪，无法一一进行收集训练，因此此类检测方法还有较大的局限性。无法真正投入实际应用。

..........

 

第2章 相关理论基础

 

机器学习（Machine Learning）的研究目的在于如何让计算机拥有人类般的学习能力，从大量样本中总结出规律，并根据这个规律对新的事物进行预测或判断。机器学习是最近几十年人工智能领域非常热门但又年轻的一个分支[35]，人工神经网络则是一种热门的机器学习算法。人工神经网络发展几十年，经历过寒冬，也迎来兴旺。第一次兴旺来自九十年代 Rummelhart 与 McClelland[36]发明了 BP[40]（Back Propagation）神经网络，Vapnik等人[37]提出了支持向量机（SVM）。加上一些优秀特征的发现，例如 HOG、SIFT、Haar等，使得人工神经网络被推到了人工智能的风口浪尖，成为当时最炙手可热的研究领域。但是随着应用领域的不断拓展，尤其在难度比较大的领域，如目标识别、人气预报、自然语言处理等等，这些领域让学者研究止步不前，机器学习也渐渐降温。直到 2006 年，一篇由机器学习领域泰斗 Hinton[38]及其学生 Salakhutdino 在《Science》期刊上发表的关于深度学习（Deep Learning）的文章掀起了深度学习在学术界和工业界的浪潮，让人工神经网络再一次获得新生。深度学习以前的机器学习方法称为传统方法，主要表现为人工提取特征，如何提取出优良的特征为当时工业界大师最耗费心血的方面。但是深度学习则为机器学习特征，学习到的特征比人工挑选特征更具有表达能力，更能表现事物的本质，更有利于可视化和分类。目前深度学习成为机器学习的大热门，它在各个领域的识别检测效果都超过了传统方法的成绩。虽然它是一门年轻的学科，但是对人类的生活生产，乃至思考方式都产生了重大影响。

 

2.1 神经网络综述

神经网络的数学模型于 1943 年由心理学家和数理学家构建得到，神经网络实质上是一种运算模型，它模拟了生物的神经元技能，通过连接大量节点（神经元）构建模型。每一个神经元的输入到输出都是由一种特定的功能函数来实现，称为激活函数。每两个神经元之间的连接则是对信号的加权值，称为权重，训练神经网络则就是训练这些权重值。训练完成的网络也就对自然界某种规律具有了近似表达的能力，对庞大的数据模型找到了相符的内在联系，可能不够准确，但是也建立了相应的预测模型。20 世纪 80 年代随着 BP 算法的发明，人工神经网络迎来了春天。BP 神经网络是一种多层前馈网络，BP 网络的学习过程包括两个部分：信号的正向传播以及误差的反向传播，这样的好处在于避免了人工修改网络模型参数而实现机器自动更新参数。前馈神经网络是人类发明最早的简单人工神经网络。神经网络不同层分布着不同数量的神经元结构，每个层的输入仅来自于前一层神经元产生的信号，并输出信号传至下一层。起始层为输入层，最后一层为输出层，中间的层都称为隐藏层。

.........

 

2.2 深度学习简介

深度学习的概念由 Hinton[35]提出。在深度网络研究被其他学者搁置，传统算法（SVM等）如火如荼的年代，Hinton 选择继续研究深度神经网络，终于在 2006 年基于深度置信网络（Deep Belief Nets，简称 DBN）提出了非监督贪心逐层训练算法给深层网络结构的优化带来希望，随后又提出了多层自动编码器深层结构。随着深度学习的崛起，在模式识别方面各个领域都取得了非常优秀的效果，全面超过传统算法在比较复杂模式下识别的成绩。深度学习结构实质上是一个包含了多层隐藏层的多层感知器。深度学习通过不断积累低层学习到的特征从而形成高层抽象特征，对事物的本质有了更好的表达能力和属性分类。深度学习技术中一种极具代表性的网络结构：卷积神经网络（CNN），是一种前馈神经网络，在模式识别尤其图像识别、语音识别领域取得了巨大的成功。受到了生物神经网络的局部响应启发，通过局部连接、权值共享和空间或时间的子采样三大技术大大降低了的参数量和训练难度。CNN 相比较于传统算法，它不仅在识别精度上更好，拥有平移缩放和扭曲不变性，而且它可以将图像直接输入网络而不需要对图像进行预处理（人工特征提取）。

...........

 

第 3 章 基于级联卷积神经网络的人脸遮挡检测.........27

3.1 检测流程......... 27

3.2 网络结构......... 28

3.2.1 人头检测网络结构............. 28

3.2.2 眼睛嘴巴检测网络结构..... 30

3.3 实验结果与分析............. 32

3.4 本章小结......... 35

第 4 章 基于多任务卷积神经网络的人脸活性检测.....36

4.1 人脸检测......... 36

4.2 人脸活性检测..... 38

4.2.1 眼睛嘴巴开合检测............. 38

4.2.2 人脸姿态估计........... 39

4.3 实验结果与分析............. 41

4.3.1 眼睛嘴巴开合检测实验结果与分析..... 41

4.3.2 人脸姿态估计实验结果与分析............. 43

4.4 本章小结......... 45

第 5 章 人脸防伪认证系统的设计与实现...........46

5.1 系统功能与流程............. 46

5.2 系统功能界面展示........... 47

5.3 本章小结......... 52

 

第5章 人脸防伪认证系统的设计与实现

 

日前，人脸遮挡检测和活性检测的应用日益增多，应用范围愈加广泛，市场需求突飞猛进。针对日益增加的需求，本文开发了人脸防伪认证系统——“人脸通”软件。软件旨在出入安全权限等级较高的场所进行遮挡检测与人脸活性检测，确保每一个用户出入安全与非法用户的拦截甚至报警处理。

 

5.1 系统功能与流程

本文提出一种具有安全防范功能的人脸通系统。通过加入人脸遮挡检测算法与人脸活性检测算法，实现对遮挡用户和非活性人脸用户的准确检测。通过深度学习强大的学习能力和抗干扰能力提高对环境变化的鲁棒性和识别的准确率。通过智能分析实时视频画面实现对异常人脸不需要人工干预的主动报警，减少了人力成本。系统主要功能集成人头检测，眼睛遮挡检测，嘴巴遮挡检测，眨眼检测，嘴巴开合检测和人脸姿态估计。用户经过人脸识别时将进行遮挡检测，假如眼睛或嘴巴被遮挡，系统提示“请摘下遮挡物”然后进行人脸活性检测，通过指令与用户进行交互完成活性检测，如系统发出指令“请眨眼”、“请左转”让用户完成指令，系统识别正确后通过人脸活性检测。

.......

 

结论

 

日前，计算机视觉在各行各业大放异彩，视频监控随处可见，人脸识别也走进了人们日常生活与工作。安全保障总是跟不上技术的革新：视频监控解放人力监管的同时但又无法主动报警处理，尤其在 ATM 机中不法分子的蒙面犯罪，珠宝银行的蒙面偷窃抢劫等。若能让视频监控拥有主动检测人脸遮挡情况并报警那么就可以构建预警机制，减少犯罪的发生。随着马云开启了刷脸支付的时代，各大小 app 都纷纷加入人脸识别功能，但是由于假人脸冒充合法用户成功欺骗系统也造成了不小的损失与个人隐私的泄露，因此人脸活性检测的发展也迫在眉睫。本文总结和继承前人在计算机视觉领域工作的基础上，主要进行了人脸遮挡检测与人脸活性检测的相关技术研究。本文主要研究成果总结如下：

（1）针对现有遮挡检测算法鲁棒性较差，本文提出了基于级联卷积神经网络的人脸遮挡检测算法，级联多个浅层网络加快了整体检测速度。首先级联三个网络检测人头区域，然后分别使用两个级联网络检测眼睛和嘴巴是否存在，若眼睛或嘴巴不存在，则认为该人脸是被遮挡的。实验结果表明算法在 AR 库与自建库中都达到了平均 92%以上的准确率。针对各种口罩墨镜的遮挡都有良好的表现，且在不同环境中准确率基本不变，十分符合在视频监控人脸遮挡检测的要求。

（2）针对目前多种多样的假人脸欺骗攻击，各类算法在不同场景表现性能不稳定的问题，本文提出了基于多任务卷积神经网络的人脸活性检测，通过多任务网络同时检测眼睛的睁闭和嘴巴的开合，再使用 PnP 算法计算人脸姿态。最后设计系统随机发出不同动作指令依据用户配合完成的情况来判断人脸是否来自真实合法用户。通过多任务和融合浅层特征与深度特征的网络结构，学习到更具表达能力的特征，提高了算法的性能。算法在MTCNN 库眼睛睁闭和嘴巴开合的识别率以及在 Pointing '04 人脸姿态库的准确率都表现良好，算法针对绝大部分假人脸攻击形式都有了良好的检测效果，符合了现实场景对人脸活性检测的要求。

..........

参考文献（略）