牛津：利用空间融合卷积神经网络通过面部关键点进行伪装人脸识别

    最近，剑桥大学、印度国家技术学院联合发布了一篇名为《利用空间融合卷积神经网络通过面部关键点进行伪装人脸识别:Disguised Face Identification (DFI) with Facial KeyPoints using Spatial Fusion Convolutional Network。

    伪装人脸识别（DFI）是一个极具挑战性的问题，因为使用不同的伪装便可以引入大量的不同变体。在本论文中将介绍一种深度学习框架，它首先检测14个面部关键点，然后利用它们进行伪装人脸识别。由于深度学习架构的训练依赖于大型的带注释数据集，因此在这里我们引入了两个带注释的面部关键点数据集。针对每个关键点，提出了面部关键点检测框架的有效性。通过与其他深度网络的比较，也间接地证明了关键点检测框架的优越性。同时，与最先进的面部伪装分类方法相比，分类性能的有效性也得到了体现。

    人脸识别是一个重要且非常具有挑战性的问题。因为通过诸如戴假发，改变发型或发色，佩戴眼镜，刮掉或长出胡子等，这些面部的变化可以显著地掩饰身份。Righi等人得出结论是，人脸识别性能的下降是由于诸如衣服和发型等有意的面部改变而造成的，比如假发和眼镜。为了识别面部，需要使用面部关键点来分析面部的形状。在过去，针对这个问题只做了几次简单的尝试。Tejas等人提出了局部特征描述符来识别伪装的面部补丁，并使用该信息来改善人脸识别性能。辛格等人使用基于纹理的特征来对伪装的脸部进行分类。最近，面部关键点在面部表情分类、人脸对比、视频人脸追踪等应用程序中的应用收到了广泛欢迎。在过去，为了达到这一目标，已经有无数的尝试，而现如今已经缩小到两种主要的最先进方法。第一类方法使用特征提取算法，如Gabor，具有基于纹理和基于形状的特征，可以检测不同的面部关键点。第二类方法利用概率图形模型来捕获像素和特征之间的关系，以检测面部关键点。深度网络在不同计算机视觉任务中的优越性能促使了大家使用深度网络进行面部关键点检测。Sun等人定义了一个捕获全局高级特征的三层架构，然后细化初始化以定位关键点的位置。Haavisto等人使用了预训练的深度信念网络，其在周围前馈神经网络中具有高斯线性输出层，以检测面部关键点。对于这种应用程序来说，深度神经网络的使用是非常具有挑战性的，因为训练深度网络所需的带注释训练数据的数量是不足以进行的（小的：AR和Yale面部数据库），从而迫使设计者使用迁移学习。迁移学习通常来说表现是很好的，但由于训练数据的数量可能不足以微调预训练的深度网络，因此性能可能会有所降低。

图1：左图:说明了用于引入数据集的带有注释的14个面部关键点。脸部关键点描述如下：眼睛区域（青色）：P1-左眉外角，P2-左眉内角，P3-右眉内角，P4-右眉外角，P5-左眼外角，P6-左眼中心，P7-左眼内角，P8-右眼内角，P9-右眼中心，P10-右眼外角; 鼻子区域（黄色）：P11鼻子; 唇部区域（绿色）P12-唇部左角，P13-唇部中心，P14-唇部右角。右图没有显示关键点。

图2：该图显示了与简单和复杂面部伪装（FG）数据集不同伪装的样本图像。从图像中可以看出，复杂背景数据集中的样本与简单数据集相反，具有相对复杂的背景。

    本文介绍了面部关键点检测框架，用于伪装人脸识别。框架首先使用深度卷积网络来检测14个面部关键点，如图1所示，被认为是人脸识别的必要条件。然后将检测到的点连接以形成星形网状结构（图3）。然后利用所提出的分类框架对星网结构中连接点之间的方向进行人脸识别。本文还介绍了两个注释的面部伪装数据集，以改进深度卷积网络的训练，因为它们依赖于大型训练数据集。

图3：关键点检测流水线：图解显示所有p1-p14关键点生成的空间融合卷积网络热图的位置。图中还显示了通过组合关键点形成的网状结构。上面的图中也显示了选定的卷积层激活所有8个转换层网络的输入图像。

图5:图中显示的关键点检测性能，图表显示所有p1-p14人脸关键点既简单和复杂的面部化妆（FG）数据集。绿色表示在复杂数据集上计算的关键点精度，而红色表示简单数据集的精度。

    伪装人脸识别（DFI）框架：提出的框架使用空间融合深度卷积网络从面部提取14个关键点，被认为是描述面部结构的关键。提取的点被连接以形成星形网络结构（图3）。所提出的分类框架使用连接点的方向进行人脸识别。

    简单和复杂的人脸伪装数据集：用于面部关键点检测的深度卷积网络的训练需要大量的数据。然而，这些数据集不可用（小：AR人脸数据库和耶鲁人脸数据库），因为研究人员以来迁移学习来检测面部关键点。迁移学习往往表现良好，但如果数据不足以微调预先训练的网络，则可能表现不佳。为了避免上述问题，我们提出了两个简单而复杂的人脸伪装（FG）数据集，将来可能被研究人员用于训练人脸关键点检测的深度网络。

    所提出的框架用于对引入的数据集执行伪装人脸识别。为两个数据集的每个关键点提供平均键点检测精度。此外，还对所提出的管道与其他关键点检测方法进行了广泛的比较。最后，与最先进的人脸伪装分类方法相比，分析流程的有效性也得到了体现。

    本文提出了伪装人脸识别（DFI）框架，首先检测面部关键点，然后使用它们进行人脸识别。该框架在简单而复杂的两个人脸伪装（FG）数据集上进行了评估。该框架表现优于关键点检测和人脸伪装分类的最先进的方法。在引入的数据集中伪装的大量图像将改善深入学习网络的训练，避免了执行迁移学习的需要。

论文：https://arxiv.org/pdf/1708.09317.pdf

来源：全球人工智能