数字人脸图像的脸型改善软件工程技术研究

 

第 1 章 绪 论

 

1.1 课题研究背景及意义

美从古至今都一直在吸引着人类，在众多的美学需求中，脸型改造是提高面部吸引力的重要因素之一。在基于人脸图像变形的研究中，脸型变换模型已被广泛应用于计算机科学的许多领域，以丰富人机交互。同时，脸形改造也应用于其他不同的行业，如科幻电影制作，广告业，电脑游戏设计，生物学界，医学美容，三维重建，人脸检测，人脸合成，刑事侦破等。在电子监控中，脸型提取和检测对预防犯罪行为起到了显著的作用；在电脑游戏设计娱乐方面，脸型模型可以表现出逼真的虚拟仿真场景；对于生物识别技术，最明显的应用是脸型轮廓确认及人脸跟踪和面部识别。在海量图片的社交媒体中，如 Facebook，Twitter 和 Instagram，分享具有完美脸型的图片无疑是很多人向世界各地朋友介绍自己的一种快速方式，从而提高知名度和人气。最重要的是，完美的脸型模板对医疗整形修复起着至关重要的作用，它可以作为医师的助手来仿真需要整形的患者是否适合于期望的形状。不同脸型变换仿真可根据求美者不同的体貌特征，气质神态，让脸型与五官的比例搭配更加协调，塑造个性鲜明的脸型。其改善效果可使面部高凸和宽大、凹陷和窄小之处更匀称，协调美观，如大脸、胖脸、咬肌肥大等不美观的部分都可以得到改善。改善后使图像的面部轮廓线条流畅、过渡自然均匀，同时也使正面照的面部、颈部线条交界的相得益彰，自然美观，从而实现图像的脸型精细化美观改变，让细节审美更加精致、和谐（如图 1-1 所示）。此外，在电影制造业（如图 1-2 所示）、广告界、娱乐界、计算机动画、计算机模拟、虚拟现实等许多领域对脸型变化也有着更多的应用需求。随着信息技术与科学技术的快速发展及普及应用，计算机图形学在科学研究中日益剧增。根据信息统计结果显示，人类从外界获取的信息中，视觉信息占约 60%，听觉信息和其他信息分别占大约 20%。可以看出，人类在获取信息的来源中，视觉信息是最重要的因素。而图像是获取视觉信息最有效的途径之一。由于图像包含较多的信息量，研究方向种类繁多及应用范围之广，关于图像的研究飞速发展。图像变形是图形图像研究中的一个重要分支，近来备受研究人员的关注。目前许多学者都致力于研究人脸图像的渐变，如人脸卡通化、人脸合成、人脸匹配、人脸老龄化估计、3D 人脸识别的面部表情变化等，而针对人脸图像脸型变形这一能提高面部吸引力的问题少之又少。然而，市场上出现的美化数码图片的软件中，如 Mito,Photoshop, Digital Beauty, Ever Fine 等，仅仅通过亮度、对比度、饱和度、色调等一些因素调整光线来改善肤色或修饰面部各器官来提高面部吸引力，以遮盖面部瑕疵，但通常会忽略脸型的改善及变换而不能满足用户想体验各种脸型的美学需求。由于这些软件未能够提供一些标准脸型的模板，用户操作仅仅依靠感觉和经验，使美化结果不太协调美观。此外，这些美化软件工具对用户的要求操作较高，通常需要用户有专业的操作技能，并且拥有熟练的图像处理基础，极大地限制了用户的可操作性。所以，目前对一种有效的脸型美化是急需的。另一方面，在商业界的各种移动电子设备中，如手机、平板电脑等美图软件，一旦有脸型形状变换功能将大大受到消费者的欢迎。所以，脸型改善与美化具有很大的重要性和巨大的商业潜力。谷歌近日报道，每天大约有 9300 万用户在移动设备的社交网络中进行图像的交互。由于大规模数据的持续增长，促使我们来改善和分析这些图像。人类的日常生活已经与当今全盛时期的社交媒体密不可分。因此，针对这一挑战性问题，我们致力于研究通过改善脸型来提高审美情趣和满足各种领域的需求。

...........

 

1.2 国内外研究进展及现状

尽管脸型美化具有很大的重要性和巨大的商业潜力，但是之前对这方面的研究是有限的。人脸变形算法技术研究历史久远。在 80 年代初，Platt and Badle 提出，面部皮肤变形是由肌肉的收缩引起的，即提出肌肉收缩引起皮肤表面变形的观点。近年来，通常情况下，研究人员从两个方面提出面部形状美化的方法。一方面是从图像变形的角度，如网格变形，形状插值，分段线性仿射变换等，从而实现原图像到目标形状的变形。另一方面，是从深度学习和机器学习技术方面研究，如支持向量回归（SVR），数据驱动，卷积神经网络（CNN）等。1999 年，Volker Blanz 和 Thomas Vetter[1]首次提出人脸面部轮廓的胖瘦调整的技术，并提出可变形模型是由线性空间表示的观点。变形模型通过在类中分别建模对象的形状、纹理或摄像条件的可变性，提出一种对象类的抽象模型方法。可变形的模型代表可伸缩性的 2D 曲线或可变形的三维表面以匹配对象类的特定实例的对象形状。他们在人脸数据库的基础上提出人脸统计学模型，并利用光流算法进行点与点之间对应关系的建立。实验效果如图 1-3 所示。但该算法存在的不足是在改变人脸轮廓胖瘦的调整时，不可避免的改变了面部器官，即未能够保持局部细节不变，如图像中鼻子大小及嘴唇厚度等属性均发生了变化。而本文采用的技术是能够较大程度上保持局部形状不变的拉普拉斯网格编辑技术，从而在改变脸型轮廓的同时，保持局部面部器官形状不变。

.............

 

第 2 章 数字人脸图像的脸型改善相关工作

 

脸型的改善与美化是基于脸型的结构之上。脸的上半部是由上颌骨、颧骨、颞骨、额骨和顶骨构成的圆弧形结构，下半部取决于下颌骨的形态。一般说来， 脸型是指面部的轮廓，是一个多信息、多信号的响应系统，也是感官输入和输出交流的途径，具有极大的灵活性和特异性，主要与基于特征的沿轮廓的曲线曲率相关。本章对数字人脸图像的脸型改善相关工作进行了充分的介绍。首先论述了传统的表征人脸特征提取方法，如黄金比例、平均脸及对称性、主动形状模型 ASM、主动表观模型 AAM。接着介绍了基于 Delaunay 三角剖分算法。最后依次介绍了传统的人脸脸型变形算法，如基于四边形网格的变形方法，基于自由变形的人脸变形方法，基于控制线段的变形方法，基于深度学习和机器学习的变形技术，并详细叙述了本文采用的基于美化模板的变形算法。

 

2.1 表征人脸特征提取方法

结合前人对人脸美丽特征方法研究进行总结，有以下几种特征方法来表征人脸特征：黄金比例、平均脸及对称性，主动形状模型 ASM，主动表观模型 AAM 等。对于脸型及五官的比例，在许多医学或美学的教科书上，都已经定义了所谓最完美的“黄金比例”；例如上、中、下脸的三等分，或是脸宽与眼宽的五等分，都是所谓“黄金比例”的基本比例约定。在医学整形界，医师不仅凭借自身的美学素养，还根据脸部黄金比例来给患者提出需要修整的部分意见。世界各国都公认瓜子脸、鹅蛋脸是最美的脸形，以前英国女影星奥黛莉赫本(Audrey Hepburn)是最经典的代表，如图2-1所示，以完美脸形的美学标准来看，面部长度与宽度的比例为1.618:1，符合黄金分割比例。中国人以三停、五眼作为五官与脸形相搭配的美学标准，三停--是根据等比例准则把脸部长度平均分为三等分，五眼--是把面部宽度平均分为五等分，其中眼睛的宽度占面部宽度的五分之一。图 2-2 即是完美脸形。

...........

 

2.2 基于 Delaunay 三角剖分算法

Delaunay 三角网格被广泛使用于科学计算中的多种领域。本文将使用点集三角剖分[32,33]对人脸区域进行分割，为后续的人脸图像的分段线性仿射变换建立一一映射关系。即在使用 Delaunay 三角网格剖分人脸区域前后，原图像上的由特征点 A、B、C 围城的三角形 ABC 始终映射到目标图像上的三角形 ABC。Delaunay 三角剖分具有其独特性，关于一些点集的很多种几何图都和 Delaunay 三角剖分相关，如 EMST树，Gabriel 图，Voronoi 图等。Delaunay 三角剖分具备两个特点：一是最大化最小角，二是“最接近于规则化的”的三角网和唯一性（任意四点不能共圆）。三角剖分特点：设V 是二维实数域上的有限点集，e 是由点集中的点构成的端点形成的封闭线段, E 为e 的集合。则该点集V 的一个三角剖分 T   (V  , E)是一个平面图G ，该平面图满足以下条件：1、 平面图中的边不包含点集中的任何点，除了端点。2、 没有相交边。3、 平面图中所有的面都是三角面，且所有三角面的合集是散点集V 的凸包。（1）Delaunay 三角剖分准则：空圆特性：Delaunay 三角网是唯一的（任意四点不能共圆），在 Delaunay 三角形网中任一三角形的外接圆范围内不存在其他点。

............

 

第 3 章 基于脸型分类的美化模板构造 .......30

3.1 脸型分类常规方法 ..........30

3.2 脸型美化模型常规构造方法 ....31

3.3 本文涉及的基于脸型分类的美化模型构造方法 ............33

3.3.1 基于主动形状模型的人脸特征提取 ....33

3.3.2 基于 K 近邻和 HAUSDORFF 距离与面型指数结合的脸型分类........36

3.3.3 实验脸型分类结果及美化模型 ............42

3.4 本章小结 ......45

第 4 章 实验结果及分析 ...........46

4.1 实验数据来源及预处理 .............46

4.2 实验结果比较与分析 .......47

4.3 本章小结 .......50

第 5 章 结论与展望 .........51

5.1 论文总结 .......51

5.2 研究展望 .......51

 

第 4 章 实验结果及分析

 

4.1 实验数据来源及预处理

本实验我们采用的数据集有两个来源。一是 IMM[56]人脸数据库，该人脸数据库是由丹麦科技大学的信息和数学模型中心建立，共有 40 人、240 张人脸图像，这些图像是在不同表情、姿势、光照条件下采集的。二是从互联网上针对各类脸型搜索出相应的图像，从这两部分挑选出 200 张人脸图片作为实验数据集。由于不同的人脸图像具有不同的大小和方向、位置及不同的特征点分布，为了使后续变形过程中能较好的依据美化模板调整原图像上的特征点，应先使原图像与美化模板进行对准，以实现人脸图像的归一化）。普氏分析法是一种用来分析形状分布的方法。数学上来讲，就是不断迭代，寻找标准形状。由于样本集中的人脸图像与标准模板具有不同的位置、大小和方向以及特征点的位置分布存在较大的偏差，因此所得到的数据并不具有仿射不变性。为后续统一的仿射变换，需要把人脸图像的大小、位置和方向之间的差异消除，使所有的人脸样本集都归一化到标准模板上。我们采用 Procrustes 分析(Procrustes Analysis)[57]对样本集中的所有图像进行归一化，从而实现人脸图像与标准模板的形状对准。形状和位置的载体还是样本点的空间坐标。我们提取 68 个面部特征点。其中包括 27 个面部轮廓点和 41 个面部器官（眼睛12 个，鼻子 9 个，嘴巴和眉毛分别 10 个）特征点。本文采用普氏分析（Procrustesanalysis）将原图像中特征点的位置与美化模板进行对齐（平移，缩放，旋转），以实现坐标归一化。Procrustes 分析的基本思想是将形状进行旋转，再对其进行大小归一化，最后将两个形状的重心平移到相同的位置。

..........

 

总结

 

在这篇论文中，我们研究了一种改善不完美脸型从而增强面部吸引力的的技术。具体步骤如下：首先，提取面部特征点，并使用 Delaunay 三角剖分面部区域，采用普氏分析对准原图像和美化模板以达到坐标归一化；然后在基于脸型分类的基础上，提出 6 种不同脸型的美化模板；通过美化模板，利用拉普拉斯坐标来存储网格的几何信息，并在一些顶点的拉普拉斯约束条件下，结合提出的模板，进行顶点坐标的重定位同时保持局部细节不变。最后，为了使实验结果更美观自然，重新调整重建的网格并采用三次卷积插值实现纹理映射。与其他美化方法相比，本文提出的算法更具有创新性和有效性。

..........

参考文献（略）