論文分享：邊緣感知人臉對齊演算法

12 人贊了文章

本周的論文分享是介紹一篇來自ECCV 2018，關於人臉關鍵點檢測的文章，《Look at Boundary: A Boundary-Aware Face Alignment Algorithm》。人臉關鍵點檢測是很多人臉相關應用中的關鍵一步，比如自動美妝，貼紙等，它的目的是希望準確地找出人臉的關鍵點位置，以刻畫人臉的幾何結構。相比於之前的方法，本文創新地引入邊緣信息來輔助關鍵點檢測，在各個數據集均取得了大幅超過之前方法的結果。

整體框架

人臉關鍵點都與某些邊緣有密切聯繫，但是在大姿態和遮擋的情況下，關鍵點的位置很難保持在對應的語義位置，相比較而言，邊緣能夠更容易地得到。那麼如何有效地利用邊緣信息來增加關鍵點檢測的精度呢？本文提出了一個端到端的框架，整個框架包含三部分：邊緣熱度圖估計，基於邊緣引導的關鍵點回歸器和監督邊緣有效性的對抗損失（Boundary-Aware Landmark Regressor, Boundary Heatmap Estimator and Landmark-Based Boundary Effectiveness Discriminator.），邊緣熱度圖估計是為了得到人臉的幾何結構，基於邊緣引導的關鍵點回歸器是為了融合邊緣信息提高關鍵點預測精度，邊緣有效性的對抗損失是為了得到監督模型得到高質量的邊緣信息，為關鍵點回歸器提供有效支持。下面來分別看下三個部分。

Boundary heatmap estimator

首先的一個問題是人臉邊緣的熱度圖的監督信息如何產生？一個自然的思路是由關鍵點信息插值得到，文中將人臉劃分了13條邊緣線，比如整個臉頰，上下嘴唇等，分別使用這些部分的關鍵點進行插值即可，當然這樣得到的是寬度為1px的邊緣線，在這個基礎上基於按照距離採用高斯分布3σ區間得到邊緣的熱度圖分布，以此熱度圖作為ground truth。

邊緣熱度估計採用的模型是堆疊式的hourglass，損失函數採用MSE，但是從Fig 5可以看出，由於嚴重的遮擋，導致生成的heatmap受到雜訊的影響，為了緩解這個問題，作者引入了message pass layers，這個概念最早來自於人體姿態估計的文章《Structured feature learning for pose estimation》，它的基本思想是：拿鼻樑這條邊界線來說，鼻子位於上嘴唇和下眼眶之間，他們在空間位置上是相關的，那麼可以利用這些關聯部分的特徵來增強鼻樑的特徵，更好的特徵會使得預測得更准。

具體的做法是將劃分的13條邊緣線按照空間位置建立為樹的結構，如Fig 6（左）所示，從上到下與從下到上分別得到兩顆樹，對於每一個節點，該節點新的特徵等於原始特徵疊加上父節點經過變換之後的特徵，這是在某一個stack之後的特徵中進行的。另外還可以在不同stack之間進行，更新的方向如Fig 6（右）。

在具體實現message passing上，每個stack的特徵圖需要均分為K組分別代表不同的邊緣線（本文共分了13條），這種方式相比較在關鍵點（比如68點或者194點）上進行message passing能節省很多的參數和計算量。

Boundary effectiveness discriminator

在監督邊緣熱圖的學習時，通常使用的損失函數是MSE，但是MSE是逐點進行比較的，這會使得預測的邊緣模糊不清，但是邊緣質量直接影響到最後的關鍵點檢測的結果，因此作者提出使用關鍵點預測的好壞來評估邊緣的質量，具體地採用對抗學習來做，判別器損失函數為：

其中：

M?是預測的邊緣，S? 是由此預測的關鍵點，Dist是相對真實邊緣的距離分布，θ是距離的閾值，δ是概率的閾值。dfake意義是預測出來的關鍵點離邊緣的距離小於θ的概率小於δ，那麼生成的邊緣質量不行。

生成器的損失為：

經過式5和6的對抗，能夠學習到利於生成更好關鍵點的boundary heatmap.

Boundary-aware landmarks regressor

得到了邊緣熱度圖，如何使用呢？本文採用的方式是在輸入和中間特徵層都將邊緣熱度圖融合進網路，具體的融合方式如Fig 4。

有了以上三個部分，那麼整體的演算法流程也很清晰了，整個過程如下圖：

實驗結果

直接來看拔群的效果：

參考鏈接

項目主頁：

https://wywu.github.io/projects/LAB/LAB.html

論文：https://arxiv.org/abs/1805.10483

github: https://github.com/wywu/LAB

歡迎大家關注我們的微信公眾號極驗（geetest_jy）