面部对齐是将监督学习模型应用于面部图像并估计一组面部标志（例如眼角、嘴角等）的位置的过程。面部对齐是大多数面部分析算法流程中的一个关键模块，通常在面部检测之后以及随后的特征提取和分类之前。因此，这是一种具有多种应用的使能能力，例如人脸识别、表情识别、人脸去识别等。尽管对准精度不断提高，但由于非正面人脸姿态、低图像质量、遮挡等，人脸对准仍然是一个极具挑战性的问题，出于一些原因，我们认为姿态不变的人脸对齐是值得进行大量研究的方法。
如图1所示，受解决姿势变化的需求以及处理姿势方面缺乏先前工作的激励，我们提出了一种基于回归的新的姿势不变人脸对齐方法，其目的是估计具有任意姿势的人脸（例如，-90<偏航<+90）的人脸地标的2D和3D位置及其在2D图像中的可见性。

图1：给定具有任意姿态的人脸图像，我们提出的算法自动估计面部标志以及3D标志的2D位置和可见性。为中心的图像估计所显示的3D界标。绿色/红色点表示可见/不可见地标。

Proposed Method                                                                                                                                                                  

我们提出的PIFA方法的总体架构如图2所示。我们首先从一组标记的3D扫描中学习3D点分布模型（3DPDM），其中图像上的一组2D界标可以被视为3DPDM实例的投影（即，3D界标）。对于每个2D训练人脸图像，我们假设存在手动标记的2D界标及其可见性，以及相应的3D地面实况3D界标和相机投影矩阵。给定训练图像和2D/3D地面真相，我们训练一个级联耦合回归器，该回归器由每个级联层的两个回归器组成，用于分别估计3DPDM系数和投影矩阵的更新。最后，通过3D表面法线的领域知识自动计算投影的3D地标的可见性，并将其纳入回归学习过程。

                                                                                                                                                                                                                                                                                                    图2：我们提出的PIFA方法的总体架构，包括三个主要模块（3D建模、级联耦合回归学习和3D表面支持可见性估计）。绿色/红色箭头表示指向/远离摄影机的曲面法线。

Qualitative results

如图3所示，尽管姿态范围很大，-90<偏航<+90，但我们的算法在对齐地标方面做得很好，并正确预测地标可见性。如果您将相同的平均形状（2D界标）用作所有测试图像的初始化，则这些结果尤其令人印象深刻，因为相对于其最终界标估计，这些图像具有非常大的变形。

图3：AFLW数据库的测试结果。如顶行所示，我们通过在每个图像的给定边界框中放置2D平均形状来初始化面部对齐。注意初始界标和最终估计界标之间的差异，以及图像之间姿态、照明和分辨率的差异。绿色/红色点表示可见/不可见的估计界标。

Publications

• Dense Face Alignment
         Yaojie Liu,        Amin Jourabloo,        William Ren,        Xiaoming Liu
         In Proceeding of International Conference on Computer Vision Workshops (ICCVW 2017), Venice, Italy, Oct. 2017    
     Bibtex        | PDF        | arXiv        | Poster        | Code

• Pose-Invariant Face Alignment with a Single CNN
         Amin Jourabloo,        Xiaoming Liu,        Mao Ye,        Liu Ren
         In Proceeding of International Conference on Computer Vision (ICCV 2017), Venice, Italy, Oct. 2017    
     Bibtex        | PDF

• Pose-Invariant Face Alignment via CNN-based Dense 3D Model Fitting
         Amin Jourabloo,        Xiaoming Liu
         International Journal of Computer Vision, Vol. 124, No. 2,  pp.187-203, , Apr. 2017    
     Bibtex        | PDF

• Large-pose Face Alignment via CNN-based Dense 3D Model Fitting
         Amin Jourabloo,        Xiaoming Liu
         Proc. IEEE Computer Vision and Pattern Recogntion (CVPR 2016), Las Vegas, NV, Jun. 2016    
     Bibtex        | PDF        | Poster

• Pose-Invariant 3D Face Alignment
         Amin Jourabloo,        Xiaoming Liu
         Proc. International Conference on Computer Vision (ICCV 2015), Santiago, Chile, Dec. 2015    
     Bibtex        | PDF        | Poster