關於人臉圖像的處理、識別與理解的十個基本概念

07-25

人臉相關圖像的預處理、分析和理解，在圖像識別領域以及前沿科技產品中的應用愈發廣泛，例如，最為普及的「人臉識別」技術。事實上，除了廣為大眾所熟知的「人臉識別」技術，還有人臉配准、人臉比對、人臉檢索、人臉特徵提取等一系列相關技術。

1、人臉檢測

「人臉檢測(Face Detection)」是檢測出圖像中人臉所在位置的一項技術。

人臉檢測演算法的輸入是一張圖片，輸出是人臉框坐標序列（0個人臉框或1個人臉框或多個人臉框）。一般情況下，輸出的人臉坐標框為一個正朝上的正方形，但也有一些人臉檢測技術輸出的是正朝上的矩形，或者是帶旋轉方向的矩形。

常見的人臉檢測演算法基本是一個「掃描」加「判別」的過程，即演算法在圖像範圍內掃描，再逐個判定候選區域是否是人臉的過程。因此人臉檢測演算法的計算速度會跟圖像尺寸、圖像內容相關。

人臉檢測結果舉例(綠色框為人臉檢測結果)

2、人臉配准

「人臉配准(Face Alignment)」是定位出人臉上五官關鍵點坐標的一項技術。

人臉配准演算法的輸入是「一張人臉圖片」加「人臉坐標框」，輸出五官關鍵點的坐標序列。五官關鍵點的數量是預先設定好的一個固定數值，可以根據不同的語義來定義。

效果較好的人臉配准技術，基本通過深度學習框架實現，這些方法都是基於人臉檢測的坐標框，按某種事先設定規則將人臉區域摳取出來，縮放到固定尺寸，然後進行關鍵點位置的計算。因此，若不計入圖像縮放過程的耗時，人臉配准演算法是可以計算量固定的過程。另外，相對於人臉檢測，或者是後面將提到的人臉提特徵過程，人臉配准演算法的計算耗時都要少很多。

人臉配准結果舉例(右圖中的綠色點位人臉配准結果)

3、人臉屬性識別

「人臉屬性識別(Face Attribute)」是識別出人臉的性別、年齡、姿態、表情等屬性值的一項技術。

一般的人臉屬性識別演算法的輸入是「一張人臉圖」和「人臉五官關鍵點坐標」，輸出是人臉相應的屬性值。人臉屬性識別演算法一般會根據人臉五官關鍵點坐標將人臉對齊(旋轉、縮放、扣取等操作後，將人臉調整到預定的大小和形態)，然後進行屬性分析。

常規的人臉屬性識別演算法識別每一個人臉屬性時都是一個獨立的過程，即人臉屬性識別只是對一類演算法的統稱，性別識別、年齡估計、姿態估計、表情識別都是相互獨立的演算法。但最新的一些基於深度學習的人臉屬性識別也具有一個演算法同時輸入性別、年齡、姿態等屬性值的能力。

人臉屬性識別過程(最右側文字為屬性識別結果)

4、人臉特徵提取

「人臉特徵提取(Face Feature Extraction)」是將一張人臉圖像轉化為一串固定長度的數值的過程。這個數值串被稱為「人臉特徵(Face Feature)」，具有表徵這個人臉特點的能力。

人臉特徵提取過程的輸入也是「一張人臉圖」和「人臉五官關鍵點坐標」，輸出是人臉相應的一個數值串(特徵)。人臉特徵提取演算法都會根據人臉五官關鍵點坐標將人臉對齊預定模式，然後計算特徵。

人臉特徵提取過程(最右側數值串為「人臉特徵」)

5、人臉比對

「人臉比對(Face Compare)」是衡量兩個人臉之間相似度的演算法。

人臉比對演算法的輸入是兩個人臉特徵(註：人臉特徵由前面的人臉特徵提取演算法獲得)，輸出是兩個特徵之間的相似度。人臉驗證、人臉識別、人臉檢索都是在人臉比對的基礎上加一些策略來實現。相對人臉提特徵過程，單次的人臉比對耗時極短，幾乎可以忽略。

基於人臉比對可衍生出人臉驗證(Face Verification)、人臉識別(Face Recognition)、人臉檢索(Face Retrieval)、人臉聚類(Face Cluster)等演算法。

人臉對比過程(右側的相似度為人臉比對輸出的結果)

6、人臉驗證

「人臉驗證(Face Verification)」是判定兩個人臉圖是否為同一人的演算法。

它的輸入是兩個人臉特徵，通過人臉比對獲得兩個人臉特徵的相似度，通過與預設的閾值比較來驗證這兩個人臉特徵是否屬於同一人(即相似度大於閾值，為同一人;小於閾值為不同)。

人臉驗證過程說明(最右側「是同一人」為人臉驗證的輸出)

7、人臉識別

「人臉識別(Face Recognition)」是識別出輸入人臉圖對應身份的演算法。

它的輸入一個人臉特徵，通過和註冊在庫中N個身份對應的特徵進行逐個比對，找出「一個」與輸入特徵相似度最高的特徵。將這個最高相似度值和預設的閾值相比較，如果大於閾值，則返回該特徵對應的身份，否則返回「不在庫中」。

人臉識別過程(右側身份「jason」為人臉識別結果)

8、人臉檢索

「人臉檢索」是查找和輸入人臉相似的人臉序列的演算法。

人臉檢索通過將輸入的人臉和一個集合中的說有人臉進行比對，根據比對後的相似度對集合中的人臉進行排序。根據相似度從高到低排序的人臉序列即使人臉檢索的結果。

人臉檢索過程(右側綠框內排序序列為檢索結果)

9、人臉聚類

「人臉聚類(Face Cluster)」是將一個集合內的人臉根據身份進行分組的演算法。

人臉聚類也通過將集合內所有的人臉兩兩之間做人臉比對，再根據這些相似度值進行分析，將屬於同一個身份的人劃分到一個組裡。

在沒有進行人工身份標註前，只知道分到一個組的人臉是屬於同一個身份，但不知道確切身份。另外假設集合中有N個人臉，那麼人臉聚類的演算法複雜度為O(N2)。

人臉聚類過程(右側綠框內按身份的分組結果為聚類結果)

10、人臉活體

「人臉活體(FaceLiveness)」是判斷人臉圖像是來自真人還是來自攻擊假體(照片、視頻等)的方法。

和前面所提到的人臉技術相比，人臉活體不是一個單純演算法，而是一個問題的解法。這個解法將用戶交互和演算法緊密結合，不同的交互方式對應於完全不同的演算法。