2017-10-20-001-換臉演算法調研

簡介：專欄的第一篇文章，本來想著寫一篇極坐標全景圖相關的文章的，但由於近期比較忙沒有太多的時間去整理。但總想著寫些什麼，想到前段時間天天批圖軍裝照刷爆了朋友圈，作為一名圖像處理相關行業的從業人員，除了對其現象的關注之外，更加應該去探索一下人像換臉背後的原理及實現。因此，決定搜集整理一下關於人像換臉演算法的相關資料。

1、Face Swapping: Automatically Replacing Faces in Photographs

簡介：單張圖像的總換臉演算法，使用的傳統方法。該方法對於大角度側臉輸入，得到的結果圖像效果並不理想。

來源：SIGGRAPH-2008

鏈接：http://www1.cs.columbia.edu/CAVE/projects/face_replace/

代碼：No

演算法流程圖：

效果圖：

我的論文復現（效果圖）：

註：演算法復現中關鍵點檢測使用的開源庫Dlib中的關鍵點檢測演算法。

2、Switching Eds: Face swapping with Python、Dlib and OpenCV

來源：博客

鏈接（英文）：https://matthewearl.github.io/2015/07/28/switching-eds-with-python/

鏈接（中文1）：教你用200行Python代碼「換臉」_慕課手記

鏈接（中文2）：變臉

代碼：Yes

效果圖：

3、Face2Face: Real-time Face Capture and Reenactment of RGB Videos

簡介：主要是做到了實時的人臉表情模擬（也可以不劃分為換臉演算法）

來源：CVPR-2016

主頁：http://www.graphics.stanford.edu/~niessner/thies2016face.html

代碼：No

效果圖：

4、On Face Segmentation，Face Swapping and Face Perception

簡介：基於深度學習的換臉演算法，不僅可以換臉也可以進行換妝操作。對於面部有遮擋部分的輸入圖像，其換臉結果也比較理想，但演算法的效率不敢恭維。

主頁：http://www.openu.ac.il/home/hassner/projects/faceswap/

代碼：https://github.com/YuvalNirkin/face_swap

流程圖：

效果圖：

5、補充材料：關於人臉換臉中的人臉變形演算法

在上述幾種方法中，1、2中介紹的方法並未對人臉進行局部變形，只是在面部大小及朝向角度方向上面進行了調節（這裡不討論3），在4中使用了3DMM演算法對人像進行3D建模，在結合基於深度學習的面部分割演算法，對人像進行換臉。

以上就是專欄的第一篇文章，如果您有什麼意見或者建議的話，歡迎留言。如果這篇文章有幫助到你的話歡迎點贊哦！

PS：專欄終於開張了！

2017-11-06-更新：

感謝 @張騫暉 提供的ICCV-2017的論文《Fast Face-Swap Using Convolutional Neural Networks》，這裡做如下的補充：

論文的下載地址：[1611.09577] Fast Face-swap Using Convolutional Neural Networks

本文也是基於深度學習的換臉演算法，目前沒有找到論文的代碼。

論文的流程圖：

論文的實現效果：

對此論文感興趣的讀者，可以自行下載文章閱讀。