如何評價中科院山世光老師開源的Seetaface人臉識別引擎?


人臉識別開源界的一股清流。

檢測方面在JDA大家都報告無法復現,CNN方法又太慢(特指開源方法,各個公司應該都有很好的優化方案了)不能應用到手機端的當下,這套開源軟體的檢測模塊無論在效果還是速度方面都達到了可用的程度。

對齊這塊本身比較簡單,現有的開源軟體也都能做得比較好了,隨便搞個cnn回歸一下效果就已經不錯了。

人臉驗證模塊在使用對齊好的LFW圖片上能做到98.6%,檢測對齊全部使用該開源軟體的情況下97.1%,已經超過或與現有開源軟體持平,由於有完整方案,易用性應該完勝其他開源軟體。

目測一大波實驗室都能憑這套軟體接人臉識別項目了,我們這種號稱專業搞人臉識別但實際上就是跑跑模型的實驗室感覺要混不下去了T T


個人理解(可能有失偏頗):
設計類似caffe,人臉對齊用的sift,人臉檢測用的ae,人臉識別用的cnn,只有forward沒有backward所以只能測試,而且只能測試他給的模型。他們應該有一個類似於caffe的東西,可以訓練的玩意,這次開源沒有完全開源所有東西。
不過挺不錯的,可以寫個程序把caffe訓練的權重轉換成他的格式,然後再把caffe的運算元移植過去,避免重新造輪子。然後就可以開心滴在移動設備上跑起來。

與caffe的不同點(劉昕介紹):
另外identification的模塊訓練用到了caffe或tesorflow,前向框架是重新設計的,不依賴任何第三方庫。


開源是個好東西,值得支持,為默默在寫代碼的孩子點個贊!
另外動手能力強一些的話,還是可以玩出很多花來的。:)


代碼聲明用VS開發的,除了OpenCV以外不依賴任何第三方庫。簡單試了一下,在OS X下輕鬆編譯通過。

CV發展了這麼多年,人臉框架的原理大家都已經掌握了。對於公司來說,除了檢測代碼,數據和完整的訓練框架才是王道啊,否則只能跑跑現成的model。


指導意義還是挺大,是一個完整演算法級的解決方案。不過當前人臉識別的主要應用點是身份證現場照比對,直接現場照現場照比對應用不是特別多。目前不太清楚山老師採用的什麼人臉庫進行訓練,如果沒有身份證照片訓練,估計比對效果會大打折扣。這個做過人臉識別的應該都清楚。我實現了一個android版的身份證現場照人臉識別(verification),只有三個介面調用,直接給出相似度,感興趣的可以看一下(https://github.com/fengFly2014 裡面有個Android_Face_Verification項目)。至於演算法層面我想大家已經都比較熟悉,人臉檢測(使用opencv)+人臉對齊(3000fps)+特徵提取(CNN和openblas加速)+比對(LR),其中人臉檢測自訓練演算法和暫時不開放。整理好的話後續也按照山老師的格式給一個android版完整開源版本。


國內越來越多開源,就會越強大


首先非常感謝山老師的開源 這是一種氣魄。先點1024個贊 但是我測試了一些代碼 還是有點問題 1)人臉檢測速度很慢 無法達到實時 2)人臉對齊模塊其實不是很前沿 因為只有五個點 如果你想針對人臉做一些很有趣的事情 最好有68個點 不過在GitHub也有對應的開源 3)人臉識別模塊的測試集兩個人是同一張照片 只是大小不一樣 所以測試的準確度達到接近1 我使用一個人不同時期的照片 相似度基本沒有達到.8

另外非常希望能開源訓練程序


預計SeetaFace可以拉高人臉識別草根創業公司的下限,但是除此以外對工業界影響應該不會很大:

1. 雖然說SeetaFace是開源引擎,但是核心的內容是CNN模型參數的二進位文件(針對identification而論),而SeetaFace的模型並不能像caffemodel那樣隨意拿來finetune。

2. 人臉識別應用領域還有一些更有挑戰性和現實意義的問題(比如cross-domain matching),而SeetaFace就是一個寫死的東西,工業界無法基於SeetaFace做出改進。有技術能力的公司還是得用自己的模型和框架來解決這些問題。

3. 想把caffe在移動設備上跑起來更可靠的方案是OpenCV的DNN module,而seetaFace的特徵提取支持的東西還是太少,目測要加個PReLU還得自己寫。。。

另外想靠這套軟體接人臉識別項目的實驗室還是不要指望了,甲方雇個本科生調用一下SeetaFace的動態鏈接庫就能完事的事情就輪不到實驗室來搶飯碗了。。。


1. 演算法和模型變得不是最重要的了,數據和業務積累越來越重要;
2. 降低行業門檻,讓更多的人進來玩,一起再把蛋糕做的更大些,玩的人多了,玩法就更多了;
3. 山老師這套東西應該不是業內最好的,和SenseTime、Face++還應該有些差距,根據市場數一數二的理論,可以賺錢,但是個應該賺的比較費勁;
4. 技術開放出來,讓同行幫忙挑挑毛病,幫忙改進下,同時也看看自己的技術能用到那些地方,摸一摸底;
5. 提高知名度和美譽度;
6. 開源的其實也有開源的賺錢方式,比如像但年的康盛創想、wordpress都賺的盆滿缽流,但是要有足夠的市場支持。

確實佩服山老師他們,人臉應該不缺開源的項目,但是以前的都是某些固定方向的,比如檢測、定位、識別,但是像這次這麼系統同時名氣這麼大的是第一次。而且開源需要勇氣,出了放棄既得利益還有要對自己的項目代碼有足夠的自信,畢竟被吐槽也是有可能的。


根據測試:將圖片detect人臉後,crop出,放到extractfeature後效果不佳,但是如果detect了landmark,然後不crop,直接把landmark和照片放入extractfeaturewithcrop,把threashold設為0.55至0.6之間,效果不錯,有百分之90以上的準確率。在lfw上效果會更好。但是對於網路上隨機下的圖片,效果一般。


我所的老闆對開源都很抵觸,山老師是高瞻遠矚啊


能開源,胸懷夠大


雖然這個領域還有很長的路要走,但是山世光老師無疑是這領域中的一顆閃亮的明星,關於開源這些東西,可以讓更多的小企業也能使用這項技術做出特定領域的創新。


哈哈這個必須贊一個,師兄們的結晶~


清流加一,配置不算複雜,不依賴gpu,不需要nuget。但是vs2015下坑不少,不能debug模式...

face_rect的坐標有可能小於0,如果這時crop的話就會崩盤。不知道算不算bug。

識別能力很好,臉旋轉40多度都能識別出來。

但是相似度這個功能,兩個完全不一樣的臉,連光線強度都不一樣,有時候能到40%+的相似度,而同一個人稍微擺下pose,相似度會降的比較多。所以如何判斷是不是同一個人,缺乏一個比較好的相似度界限,只能靠增加採集量解決,但是心裡真的沒底。

像樓上那些說降低創業門檻的,請在實際環境下用用,特別是室外。帝都夏天雷陣雨亮度堪比半夜12點。

做為吃螃蟹的人,友情提示做門禁系統不如買套市面上的掃臉機,真心費力不討好。


這一開源讓很多搞人臉識別的研究生找不到工作了。


開源的東西很多,如何轉化成生產力道路漫長


算是他跳到創業圈的跳板,總體來說宣傳價值遠遠大於實用價值,做得好也要會宣傳!


一般般,如果需要更好的演算法,或者做arm集成,這個開源的演算法價值不大,可以試試廣州顏鑒。


最麻煩的是沒有訓練的code,這樣用起來限制就很多。現在正臉的model挺好的,但是沒法檢測側臉。landmark也只能檢測5個點。不知道會不會公布訓練的code。


一下子就降低了創業門檻


人臉識別開源界的一股清流。

檢測方面在JDA大家都報告無法復現,CNN方法又太慢(特指開源方法,各個公司應該都有很好的優化方案了)不能應用到手機端的當下,這套開源軟體的檢測模塊無論在效果還是速度方面都達到了可用的程度。

對齊這塊本身比較簡單,現有的開源軟體也都能做得比較好了,隨便搞個cnn回歸一下效果就已經不錯了。


非常感謝,能開源,給眾寶寶們一個學習的機會。
但是,沒有介紹怎麼安裝運行啊,淚目~
看了一下代碼,量並不是很大的說~
山老師出來創業,又給了本寶寶一個能崇拜的偶像,奮鬥,逆襲~
我是菜鳥,求輕噴~


推薦閱讀:

arxiv只能查看最近一周的論文嗎?
使用深度學習演算法實現圖像目標跟蹤,該怎麼做?機器學習剛入門,完全沒頭緒。?
如何看待用機器學習已經可以根據化學分子的特點預測它的氣味?
占星,算命等可否理解為一種神經網路演算法?
有大神講講深度學習在語音分離的應用嗎?

TAG:人臉識別 | 深度學習DeepLearning |