人臉檢測與識別的趨勢和分析

01-23

現在打開谷*公司的搜索器，輸入「face detect」，估計大家都能夠想到，都是五花八門的大牛文章，我是羨慕啊！（因為裡面沒有我的一篇，我們實驗室的原因，至今沒有讓我發一篇有點權威的文章，我接下來會寫4張4A紙的檢討，去自我檢討下為什麼？-----藍姑）

原歸正傳，讓我開始說說人臉這個技術，真的是未來不可估計的IT技術，不知道未來會有多少企業為了這個技術潛心研究，現在就來看看最近的技術和未來的發展吧！

我先大概說下遇到的一些問題：

? 圖像質量：人臉識別系統的主要要求是期望高質量的人臉圖像，而質量好的圖像則在期望條件下被採集。圖像質量對於提取圖像特徵很重要，因此，即使是最好的識別演算法也會受圖像質量下降的影響；

? 照明問題：同一張臉因照明變化而出現不同，照明可以徹底改變物體的外觀；

? 姿勢變化：從正面獲取，姿勢變化會產生許多照片，姿態變化難以準確識別人臉；

? 面部形狀/紋理隨著時間推移的變化：有可能隨著時間的推移，臉的形狀和紋理可能會發生變化；

? 相機與人臉的距離：如果圖像是從遠處拍攝的，有時從較長的距離捕獲的人臉將會遭遇質量低劣和噪音的影響；

? 遮擋：用戶臉部可能會遮擋，被其他人或物體（如眼鏡等）遮擋，在這種情況下很難識別這些採集的臉。

就先說這些問題吧，還有其他問題，讀者你可以自己再去總結一些，其實很easy！

在沒有DL出現之前，大家都是在用傳統的機器演算法和統計學的演算法來對以上問題進行研究，仔細想想，大牛真的好厲害，能想出那麼多經典的演算法，下面我先簡單介紹幾個：

1) 基於Adaboost人臉檢測

Adaboost人臉檢測演算法，是基於積分圖、級聯檢測器和Adaboost演算法的方法，該方法能夠檢測出正面人臉且檢測速度快。其核心思想是自動從多個弱分類器的空間中挑選出若干個分類器，構成一個分類能力很強的強分類器。

缺點：而在複雜背景中，AdaBoost人臉檢測演算法容易受到複雜環境的影響，導致檢測結果並不穩定，極易將類似人臉區域誤檢為人臉，誤檢率較高。

2) 基於特徵的方法（引用「Summary of face detection based on video」）

基於特徵的方法實質就是利用人臉的等先驗知識導出的規則進行人臉檢測。

①　邊緣和形狀特徵：人臉及人臉器官具有典型的邊緣和形狀特徵，如人臉輪廓、眼瞼輪廓、虹膜輪廓、嘴唇輪廓等都可以近似為常見的幾何單元；

②　紋理特徵：人臉具有特定的紋理特徵，紋理是在圖上表現為灰度或顏色分布的某種規律性，這種規律性在不同類別的紋理中有其不同特點；

③　顏色特徵：人臉的皮膚顏色是人臉表面最為顯著的特徵之一，目前主要有RGB，HSV，YCbCr，YIQ，HIS等彩色空間模型被用來表示人臉的膚色，從而進行基於顏色信息的人臉檢測方法的研究。

3) 基於模板的方法

基於模板匹配的方法的思路就是通過計算人臉模板和待檢測圖像之間的相關性來實現人臉檢測功能的，按照人臉模型的類型可以分為兩種情況：

①　基於通用模板的方法，這種方法主要是使用人工定義的方法來給出人臉通用模板。對於待檢測的人臉圖像，分別計算眼睛，鼻子，嘴等特徵同人臉模板的相關性，由相關性的大小來判斷是否存在人臉。通用模板匹配方法的優點是演算法簡單，容易實現，但是它也有自身缺點，如模板的尺寸、大小、形狀不能進行自適應的變化，從而導致了這種方法適用範圍較窄；

②　基於可變形模板的方法，可變形模板法是對基於幾何特徵和通用模板匹配方法的一種改進。通過設計一個可變模型，利用監測圖像的邊緣、波峰和波谷值構造能量函數，當能量函數取得最小值時，此時所對應的模型的參數即為人臉面部的幾何特徵。這種方法存在的不足之處在於能量函數在優化時十分複雜，消耗時間較長，並且能量函數中的各個加權係數都是靠經驗值確定的，在實際應用中有一定的局限性。

4) 基於統計理論的方法

基於統計理論的方法是指利用統計分析與機器學習的方法分別尋找人臉與非人臉樣本特徵，利用這些特徵構建分類，使用分類進行人臉檢測。它主要包括神經網路方法，支持向量機方法和隱馬爾可夫模型方法。基於統計理論的方法是通過樣本學習而不是根據人們的直觀印象得到的表象規律，因此可以減小由於人眼觀測不完整和不精確帶來的錯誤而不得不擴大檢測的範圍，但是這種方法需要大量的統計特性，樣本訓練費時費力。

以上也都是通過快速閱讀得到的一些結論，大部分都是直接引用文章作者的語句。其中在這些方法中，都有很多改進，比如PCA+Adaboost，HMM等。。。。。。

現在用傳統的技術已經不能再有新的突破，所以現在流行了DL架構，打破了人類的極限，又將檢測，識別，跟蹤等技術上升到另一個高度。

現在來簡單講講最近幾年神經網路的牛X之處。

1)Retinal Connected Neural Network (RCNN)

2)Rotation Invariant Neural Network (RINN)

3)Principal Component Analysis with ANN (PCA & ANN)

4)Evolutionary Optimization of Neural Networks

5)Multilayer Perceptron (MLP)

6)Gabor Wavelet Faces with ANN

還有好多就不一一介紹看了（先進的沒有介紹，因為想必大家都有閱讀，所以。。。嘿嘿，相信大家通過大量閱讀一定已經有了自己的想法，趕快去實現吧！）。在此推薦讀者你閱讀《Recent Advances in Face Detection》，分析的特別詳細，希望對大家有幫助，謝謝！

對了，現在不是因為圖像中的人臉檢測，識別都已經很出色了，很多團隊都做到接近滿分了，所以現在來說說未來的趨勢，也許這已經不算趨勢，因為現在已經有很多人在這條路上摸爬打滾，而且有些團隊也有一些成就，希望接下來大家在這領域都能取得好成就。加油！！！

下面我來給大家提供一些公開的資料庫網址：

Annotated Database (Hand, Meat, LV Cardiac, IMM face) (Active Appearance Models)

AR Face Database (http://cobweb.ecn.purdue.edu/~aleix/aleix_face_DB.html)

BioID Face Database (BioID Face Database | facedb | BioID)

Caltech Computational Vision Group Archive (Cars, Motorcycles, Airplanes, Faces, Leaves, Background) (Computational Vision: Archive)

Carnegie Mellon Image Database (motion, stereo, face, car, ...) (CMU VASC Image Database)

CAS-PEAL Face Database (The PEAL Face Database)

CMU Cohn-Kanade AU-Coded Facial Expression Database (http://www.ri.cmu.edu/projects/project_421.html

CMU Face Detection Databases (http://www.ri.cmu.edu/projects/project_419.html)

CMU Face Expression Database (http://amp.ece.cmu.edu/projects/FaceAuthentication/download.htm)

CMU Face Pose, Illumination, and Expression (PIE) Database (http://www.ri.cmu.edu/projects/project_418.html)

CMU VASC Image Database (motion, road sequences, stereo, CIL』s stereo data with ground truth, JISCT, face, face expressions, car) (CMU VASC Image Database)

Content-based Image Retrieval Database (Index of /groundtruth)

Face Video Database of the Max Planck Institute for Biological Cybernetics (Welcome)

FERET Database (frvt.org)

FERET Color Database (The Color FERET Databasehttp://face.nist.gov/colorferet/ )

Georgia Tech Face Database (http://www.anefian.com/face_reco.htm)

German Fingerspelling Database (http://www.anefian.com/face_reco.htm)

Indian Face Database (http://http://www.cs.umass.edu/~vidit/IndianFaceDatabase)

MIT-CBCL Car Database (Pedestrian Data)

MIT-CBCL Face Recognition Database (CBCL FACE RECOGNITION DATABASE)

MIT-CBCL Face Databases (CBCL SOFTWARE)

MIT-CBCL Pedestrian Database (New Page 1)

MIT-CBCL Street Scenes Database (CBCL StreetScenes Database Download Page:)

NIST/Equinox Visible and Infrared Face Image Database (http://www.equinoxsensors.com/products/HID.html)

NIST Fingerprint Data at Columbia (Link)

ORL Database of Faces (The Database of Faces)

Rutgers Skin Texture Database (http://www.caip.rutgers.edu/rutgers_texture/)

The Japanese Female Facial Expression (JAFFE) Database (Japanese Female Facial Expression (JAFFE) Database

The Ohio State University SAMPL Image Database (3D, still, motion) (http://sampl.ece.ohio-state.edu/database.htm)

The University of Oulu Physics-Based Face Database (Center for Machine Vision and Signal Analysis)

UMIST Face Database (http://images.ee.umist.ac.uk/danny/database.html)

USF Range Image Data (with ground truth) (USF Range Image Database)

Usenix Face Database (hundreds of images, several formats) (Link)

UCI Machine Learning Repository (http://www1.ics.uci.edu/~mlearn/MLSummary.html)

USC-SIPI Image Database (collection of digitized images) (SIPI Image Database)

UCD VALID Database (multimodal for still face, audio, and video) (VALID Database)

UCD Color Face Image (UCFI) Database for Face Detection (http://ee.ucd.ie/~prag/)

UCL M2VTS Multimodal Face Database (http://www.tele.ucl.ac.be/PROJECTS/M2VTS/m2fdb.html)

Vision Image Archive at UMass (sequences, stereo, medical, indoor, outlook, road, underwater, aerial, satellite, space and more) (SIPI Image Database)

Where can I find Lenna and other images? (comp.compression Frequently Asked Questions (part 1/3)Section - [55] Where can I find Lenna and other images?)

Yale Face Database (http://cvc.yale.edu/projects/yalefaces/yalefaces.html)

Yale Face Database B (http://cvc.yale.edu/projects/yalefaces/yalefaces.html)

最後我附上我近期做的效果圖，是基於視頻中人臉檢測與識別的，因為沒有標準，公共的數據集，所以我就用室內場景劇作為訓練數據，最後的效果很不錯，希望以後有同學做人臉的，我們可以一起討論，共同進步，謝謝！