人臉識別長篇研究 | 技術與流程（二）

緊接著我的上篇 人臉識別 | 發展與市場（一） 這是第二篇

三、人臉識別的流程及主要技術

1、人臉識別系統組成

2、人臉識別的一般流程：

1）人臉採集：

（1）簡介：

不同的人臉圖像通過攝像鏡頭採集得到，比如靜態圖像、動態圖像、不同的位置、不同表情等，當採集對象在設備的拍攝範圍內時，採集設備會自動搜索並拍攝人臉圖像。

（2）人臉採集的主要影響因素：

圖像大小：人臉圖像過小會影響識別效果，人臉圖像過大會影響識別速度。非專業人臉識別攝像頭常見規定的最小識別人臉像素為60*60或100*100以上。在規定的圖像大小內，演算法更容易提升準確率和召回率。圖像大小反映在實際應用場景就是人臉離攝像頭的距離。

圖像解析度：越低的圖像解析度越難識別。圖像大小綜合圖像解析度，直接影響攝像頭識別距離。現4K攝像頭看清人臉的最遠距離是10米，7K攝像頭是20米。

光照環境：過曝或過暗的光照環境都會影響人臉識別效果。可以從攝像頭自帶的功能補光或濾光平衡光照影響，也可以利用演算法模型優化圖像光線。

模糊程度：實際場景主要著力解決運動模糊，人臉相對於攝像頭的移動經常會產生運動模糊。部分攝像頭有抗模糊的功能，而在成本有限的情況下，考慮通過演算法模型優化此問題。

遮擋程度：五官無遮擋、臉部邊緣清晰的圖像為最佳。而在實際場景中，很多人臉都會被帽子、眼鏡、口罩等遮擋物遮擋，這部分數據需要根據演算法要求決定是否留用訓練。

採集角度：人臉相對於攝像頭角度為正臉最佳。但實際場景中往往很難抓拍正臉。因此演算法模型需訓練包含左右側人臉、上下側人臉的數據。工業施工上攝像頭安置的角度，需滿足人臉與攝像頭構成的角度在演算法識別範圍內的要求。

2）人臉檢測：

（1）簡介：

在圖像中準確標定出人臉的位置和大小，並把其中有用的信息挑出來（如直方圖特徵、顏色特徵、模板特徵、結構特徵及Haar特徵等），然後利用信息來達到人臉檢測的目的。

（2）人臉關鍵點檢測（人臉對齊）：

自動估計人臉圖片上臉部特徵點的坐標。

（3）主流方法：

基於檢測出的特徵採用Adaboost學習演算法（一種用來分類的方法，它把一些比較弱的分類方法合在一起，組合出新的很強的分類方法）挑選出一些最能代表人臉的矩形特徵（弱分類器），按照加權投票的方式將弱分類器構造為一個強分類器，再將訓練得到的若干強分類器串聯組成一個級聯結構的層疊分類器，有效地提高分類器的檢測速度。

最近人臉檢測演算法模型的流派包括三類及其之間的組合：viola-jones框架（性能一般速度尚可，適合移動端、嵌入式上使用），dpm（速度較慢），cnn（性能不錯）。

3）人臉圖像預處理：

（1）簡介：

基於人臉檢測結果，對圖像進行處理並最終服務於特徵提取的過程。

（2）原因：

系統獲取的原始圖像由於受到各種條件的限制和隨機干擾，往往不能直接使用，必須在圖像處理 的早期階段對它進行灰度矯正、雜訊過濾等圖像預處理。

（3）主要預處理過程：

人臉對準（得到人臉位置端正的圖像），人臉圖像的光線補償，灰度變換、直方圖均衡化、歸一 化（取得尺寸一致，灰度取值範圍相同的標準化人臉圖像），幾何校正、中值濾波（圖片的平滑操作以消除雜訊）以及銳化等。

4）人臉特徵提取：

（1）簡介：

人臉識別系統可使用的特徵通常分為視覺特徵、像素統計特徵、人臉圖像變換係數特徵、人臉圖像代數特徵等。人臉特徵提取就是針對人臉的某些特徵進行的，也稱人臉表徵，它是對人臉進行特徵建模的過程

（2）人臉特徵提取的方法：

1、基於知識的表徵方法（主要包括基於幾何特徵法和模板匹配法）：

根據人臉器官的形狀描述以及它們之間的距離特性來獲得有助於人臉分類的特徵數據，其特徵分量通常包括特徵點間的歐氏距離、曲率、和角度等。人臉由眼睛、鼻子、嘴、下巴等局部構成，對這些局部和他們之間結構關係的幾何描述，可作為識別人臉的重要特徵，這些特徵被稱為幾何特徵。

2、基於代數特徵或統計學習的表徵方法：

基於代數特徵方法的基本思想是將人臉在空域內的高維描述轉化為頻域或者其他空間內的低維描述，其表徵方法為線性投影表徵方法和非線性投影表徵方法。

基於線性投影的方法主要有主成分分析法或稱K-L變化、獨立成分分析法和Fisher線性判別分析法。非線性特徵提取方法有兩個重要的分支：基於核的特徵提取技術和以流形學習為主導的特徵提取技術。

5）匹配與識別：

提取的人臉特徵值數據與資料庫中存貯的特徵模板進行搜索匹配，通過設定一個閾值，將相似度與這一閾值進行比較，來對人臉的身份信息進行判斷。

3、人臉識別的主要方法

1）Eigen Face（特徵臉）

MIT實驗室的特克（Turk）和潘特（Pentland）提出的「特徵臉」方法無疑是這一時期內最負盛名的 人臉識別方法。其後的很多人臉識別技術都或多或少與特徵臉有關係，現在特徵臉已經與歸一化的協相關 量(Normalized Correlation)方法一道成為人臉識別的性能測試基準演算法。

https://blog.csdn.net/zizi7/article/details/52757300（人臉識別特徵臉演算法文檔）

2）Fisher Face（漁夫臉）：

貝爾胡米爾（Belhumeur）等提出的 Fisherface 人臉識別方法是這一時期的另一重要成果。該方法 首先採用主成分分析（PCA）對圖像表觀特徵進行降維。在此基礎上，採用線性判別分析（LDA）的方法 變換降維後的主成分以期獲得「盡量大的類間散度和盡量小的類內散度」。該方法目前仍然是主流的人臉 識別方法之一，產生了很多不同的變種，比如零空間法、子空間判別模型、增強判別模型、直接的 LDA 判 別方法以及近期的一些基於核學習的改進策略。

https://blog.csdn.net/zizi7/article/details/52999432（Fisher Face演算法文檔）

3）EGM（彈性圖匹配）

其基本思想是用一個屬性圖來描述人臉：屬性圖的頂點代表面部關鍵特徵點，其屬性為相應特徵點處 的多解析度、多方向局部特徵——Gabor變換12特徵，稱為Jet；邊的屬性則為不同特徵點之間的幾何 關係。對任意輸入人臉圖像，彈性圖匹配通過一種優化搜索策略來定位預先定義的若干面部關鍵特徵點， 同時提取它們的Jet特徵，得到輸入圖像的屬性圖。最後通過計算其與已知人臉屬性圖的相似度來完成識 別過程。該方法的優點是既保留了面部的全局結構特徵，也對人臉的關鍵局部特徵進行了建模。

https://blog.csdn.net/real_myth/article/details/44828219（彈性圖匹配演算法文檔）

4）基於幾何特徵的方法

幾何特徵可以是眼、鼻、嘴等的形狀和它們之間的幾何關係（如相互之間的距離）。這些演算法識別速 度快，需要的內存小，但識別率較低。

5）基於神經網路的方法

神經網路的輸入可以是降低解析度的人臉圖像、局部區域的自相關函數、局部紋理的二階矩等。這類方法同樣需要較多的樣本進行訓練，而在許多應用中，樣本數量是很有限的。

6）基於線段Hausdorff 距離(LHD) 的方法

心理學的研究表明，人類在識別輪廓圖（比如漫畫）的速度和準確度上絲毫不比識別灰度圖差。LHD是基於從人臉灰度圖像中提取出來的線段圖的，它定義的是兩個線段集之間的距離，與眾不同的是，LHD並不建立不同線段集之間線段的一一對應關係，因此它更能適應線段圖之間的微小變化。實驗結果表明，LHD在不同光照條件下和不同姿態情況下都有非常出色的表現，但是它在大表情的情況下識別效果不好。

7）基於支持向量機(SVM) 的方法

近年來，支持向量機是統計模式識別領域的一個新的熱點，它試圖使得學習機在經驗風險和泛化能力上達到一種妥協，從而提高學習機的性能。支持向量機主要解決的是一個2分類問題，它的基本思想是試圖把一個低維的線性不可分的問題轉化成一個高維的線性可分的問題。通常的實驗結果表明SVM有較好的識別率，但是它需要大量的訓練樣本（每類300個），這在實際應用中往往是不現實的。而且支持向量機訓練時間長，方法實現複雜，該函數的取法沒有統一的理論。

4、技術發展方向

1）結合三維信息：二維和三維信息融合使特徵更加魯棒

2）多特徵融合：單一特徵難以應對複雜的光照和姿態變化

3）大規模人臉比對：面向海量數據的人臉比對與搜索

4）深度學習：在大數據條件下充分發揮深度神經網路強大的學習能力

5、人臉識別資料庫

1）Yale人臉資料庫

2）ORL人臉資料庫

3）CMU PIE人臉資料庫

4）FERET人臉資料庫

5）MIT資料庫

6）BANCA人臉資料庫

7）CAS-PEAL人臉資料庫

8）JAFE表情資料庫

9）Cohn-Kanade表情資料庫

10）MMI表情資料庫

6、技術指標

1）人臉檢測中的關鍵指標：

例子：在攝像頭某張抓拍圖像中，一共有100張人臉，演算法檢測出80張人臉，其中75張是真實人臉，5 張是把路標誤識為人臉。

1、檢測率：識別正確的人臉/圖中所有的人臉。檢測率越高，代表檢測模型效果越好。

2、誤檢率：識別錯誤的人臉/識別出來的人臉。誤檢率越低，代表檢測模型效果越好。

3、漏檢率：未識別出來的人臉/圖中所有的人臉。漏檢率越低，代表檢測模型效果越好。

4、速度：從採集圖像完成到人臉檢測完成的時間。時間約短，檢測模型效果越好。

在這個實際案例中：檢測率=75/100 誤檢率=5/80 漏檢率=（100-75）/100

2）人臉識別中的關鍵指標：

1000張樣本圖片里，共600張正樣本。相似度為0.9的圖片一共100張，其中正樣本為99張。雖然0.9閾值的正確率很高，為99/100；但是0.9閾值正確輸出的數量確很少，只有99/600。這樣很容易發生漏識的情況。

1、精確率（precision）：識別為正確的樣本數/識別出來的樣本數=99/100

2、召回率（recall）：識別為正確的樣本數/所有樣本中正確的數=99/600

3、錯誤接受率/認假率/誤識率（FAR False Accept Rate）：

1、定義：指將身份不同的兩張照片，判別為相同身份，越低越好

2、FAR = NFA / NIRA

3、式中 NIRA 代表的是類間測試次數，既不同類別間的測試次數，打比方如果有1000個識別 模型，有1000個人要識別，而且每人只提供一個待識別的素材，那 NIRA=1000*(1000-1) 。NFA是錯誤接受次數。

4、FAR決定了系統的安全性，FRR決定了系統的易用程度，在實際中，FAR對應的風險遠遠高於FRR，因此，生物識別系統中，會將FAR設置為一個非常低的範圍，如萬分之一甚至百萬分之一，在FAR固定的條件下，FRR低於5%，這樣的系統才有實用價值。

4、錯誤拒絕率/拒真率/拒識率（FRR False Reject Rate）：

1、定義：指將身份相同的兩張照片，判別為不同身份，越低越好

2、FRR = NFR / NGRA

3、上式中NFR是類內測試次數，既同類別內的測試次數，打比方如果有1000個識別模型， 有1000個人要識別， 而且每人只提供一個待識別的素 材，那 NIRA=1000，如果每個人提供N張圖片，那麼 NIRA=N*1000 。NFR是錯誤拒絕次數。

下一篇是 人臉識別 | 行業應用（三）

以上內容有借鑒，如有雷同純屬巧合啊，哈哈！這個系列的末尾會給上參考文檔的。