微软亚洲研究院与北京大学合作提出两种高性能AI换脸及检测框架

近日，微软亚洲研究院与北京大学合作提出两种高性能AI换脸及检测框架"FaceShifter"和"Face X-Ray"，分别是一种高保真度、可识别遮挡的换脸工具和能够检测伪造人脸图像的工具。

• 高保真度换脸工具FaceShifter

这个新工具采用两层框架结构。过去换脸应用的主要困难在于提取面部特征，然后将两张图的特征和属性组合在一张图中，最近基于GAN的工作取得了明显进步，但仍然在合成高精度、真实图像结果上面临挑战。

研究人员提出了一个新的两部分架构，称为FaceShifter，可以实现高精度和遮挡条件下的换脸。第一部分通过充分，自适应对目标属性进行挖掘和集成，生成高清换脸图片。使用新的属性编码器，提取多级目标的人脸属性，利用自适应注意力非正规化（AAD）层的新生成器整合人脸合成图片的特征和属性。

架构的第二部分主要解决面部遮挡问题，这部分包括一个新的启发式错误确认细化网络（HEAR-Net）。训练后，可以以自监督的方式恢复图像的异常区域，无需任何手动注释。在新面部图像上进行的大量实验表明，与其他方法相比，本文模型生成的换脸图片结果不仅在感观上更真实、更具吸引力，而且还保留了原图像更多的特征。

第一阶段的AEI-Net结构。AEI-Net由身份编码器，多级属性编码器和AAD生成器组成。AAD生成器使用在AAD层上构建的级联AAD ResBlk，可在多个功能级别中集成图像特征和属性的信息

第二阶段的HEAR-Net和生成效果

与FaceSwap、Nirkin、FaceForensics ++、DeepFake、IPGAN 等模型生成效果的比较。我们的模型更好地保留了源图像的脸部形状，也更忠实于目标属性（照明，图像分辨率）

与现有其他换脸模型的性能效果对比

• 面部假图像检测工具Face X-ray

典型的换脸合成方法包括三个阶段：1）检测面部区域；2）合成期望的目标面部3）将目标面部融合到原始图像中。现有的对面部合成图像检测通常面向第二阶段，并基于数据集训练有监督的每帧二进制分类器。这种方法可以测试数据集上实现近乎完美的检测精度，如果遇见训练时没见过的假图像，性能会出现明显下降。

与现有方法不同的是，Face X-Ray不需要事先知道操作方法或人工监督，而是生成灰度图像，显示给定的输入图像是否可以分解为来自不同来源的两个图像的混合。研究人员声称，这种方法是可行的，因为大多数方法在将已改变的面部混合到现有背景图像的过程中，有一个步骤是相同的。每个图像都会从硬件（如传感器和镜头）或软件（如压缩和合成算法）中引入的自己独特的标记，并且这些标记在整个图像中趋向于类似呈现。

Face X-Ray不需要依赖于与特定人脸操作技术相关的伪影知识，并且支持它的算法可以在不使用任何方法生成假图像的情况下进行训练。

在一系列实验中，研究人员在Face Forensics++（一个包含1000多个用四种最先进的面部操作方法操作的原始剪辑的大型视频语料库）和另一个包含由真实图像构建的混合图像的训练数据集上训练了Face X-Ray。他们评估了FaceX-Ray使用四个数据集进行概括的能力：

上述FaceForensics++语料库的一个子集；Google发布的数千个视觉deepfake视频集合，deepfake检测挑战赛的图像；以及Celeb-DF，一个包含408个真实视频和795个合成视频且视觉伪影减少的语料库。

研究结果表明，Face X-Ray 能有效地识别出未被发现的假图像，并能可靠地预测混合区域。研究人员指出，这个方法依赖于一个混合步骤，因此可能不适用于完全合成图像，可能被对抗性样本骗过。不过，这确实是迈向通用化面部伪造图像检测工具的有希望的一步。

来源：新智元