iOS 圖片風格轉換（CoreML）

歡迎關注我們的微信公眾號「人工智慧LeadAI」（ID：atleadai）

前言

圖片風格轉換最早進入人們的視野，估計就是Prisma這款來自俄羅斯的網紅App。他利用神經網路（多層卷積神經網路）將圖片轉換成為特定風格藝術照片。利用圖片風格轉換演算法，我們可以將一個圖片放入以及訓練好的神經網路模型進行預測結果得到風格迥異，獨具特色的圖片。隨著iOS11蘋果推出了CoreML，我們可以很輕鬆將訓練好的這些風格轉換模型轉換成為蘋果的CoreML Model，並使用這個模型來進行圖片風格轉換。

圖片風格轉換演算法介紹

2015年，德國科學家 Gatys等人發表一篇名為《A Neural Algorithm of Artistic Style》的論文，打開了神經網路在圖像藝術創作的大門。作者利用VGG16模型對一張原圖（Content Image）和一張風格圖（Style Image）分別進行圖像特徵提取。通過利用對兩種特徵構造損失函數，對一張初始化圖片進行損失值計算並反饋重繪圖像得到生成圖（Generated Image）。但是這個演算法每一次生成一張圖片都需要進行一次網路訓練，需要耗費的時間比較長。斯坦福大學的Johnson[6]等人提出了快速風格轉移演算法，訓練一個網路，對於任意一張圖片都可以轉換成為網路對應的風格。快速轉移演算法包含兩個網路。一個為圖片轉換網路（Image Transform Network），一個為損失網路（Loss Network）。

在訓練階段利用大量圖片用兩個網路進行訓練得到模型，在輸出階段套用模型將結果進行輸出得到生成圖。他們得出的網路相對Gatys的模型得到生成圖的速度快上三個數量級。我們在iPhone上進行圖片風格轉換的時候可以使用Johnson的方法快速的生成風格圖片，當然使用Gatys的方式也是可以的，但是在生成圖片的時候會消耗更多的時候。

上圖即是快速風格遷移演算法的整體結構圖，該演算法包括圖片轉換網路和損失計算網路。其中圖片轉換網路是一個多層卷積神經網路，它將一張輸入的原始圖片轉換成為一張生成圖片。損失計算網路是一個VGG-16網路，用於計算圖片轉換網路生成圖片對於我們輸入的風格圖和原圖之間的損失大小。通過計算生成圖與原圖的內容損失以及生成圖與風格圖的風格損失大小來判斷生成圖的質量。通過不斷計算來減少損失，反向傳播到圖片轉換網路並對其進行優化，最終得到合格的圖片風格轉換模型。而這個模型就可以被我們不斷用來進行圖片到具體某一風格的轉換。

CoreML介紹

CoreML 是 Apple 今年 WWDC 新推出面向開發者的機器學習框架。如果我們有一個MLModel我們可以容易的利用Model進行結果的預測，所有的MLModel都會有以下結構。

一般一個MLModel文件會包括MLInput,MLModel,MLOutput三部分，我們將數據封裝成為Input並交付給MLModel，模型會進行結果預測並輸出預測結果Output，我們再將預測的結果轉換成為我們需要的數據類型。

代碼實現

CoreML對圖片的處理都需要將圖片轉換成為CVPixelBufferRef數據，這裡提供一段UIImage轉CVPixelBufferRef的代碼。

將圖片轉換成為CVPixelBufferRef之後放入模型進行處理生成Output並得到結果，結果也是一個CVPixelBufferRef的數據。

所以這裡我們還需要將CVPixelBufferRef轉回去UIImage，具體的實現代碼如下：

更多具體的代碼見項目。

細節優化

合成圖生成效果轉換

有時候我們會覺得合成圖片的效果並不如意，如下面的示例圖1跟2，我們可以看到2已經跟1差異非常的大了，一定程度上我會覺得風格過度了。這個時候我們可以通過調整合成圖的效果來換取整體構圖的完整性，比如說圖3的風格只有50%。我們可以看到圖3成像會更加具體而又有獨特風味。此外還可以通過調整對比度，顏色飽和度來調整構圖，這裡就需要根據圖片消耗更多的時間了。

合成圖眼色轉換

圖片風格轉換在我看來有一點是獨特但是也是致命的，那就是顏色的遷移。我么可以看到在示例圖2中，合成圖是使用梵高的星空轉換出來的圖片，整體圖片紋理以及顏色進行了變化。這個時候如果我們希望保留原圖的顏色而未知合成圖的紋理，就可以使用YUV顏色空間進行轉換。

YUV是圖片的一種數據格式，YUV中的「Y」表示圖片的明亮程度；「U」代表色度，也稱為飽和度；「V」代表濃度。從YUV的示例圖我們可以很清楚的看到他們的具體含義。

在這裡我們可以看到其中U以及V可以很好代表圖片的顏色，而Y代表了圖片的大部分內容。因此我們可以移植原圖的U以及V到合成圖上，就可以得到示例圖2中的顏色轉換合成圖了。

運行環境

• Mac OS 10.12.6
• Xcode 9 beta 6
• Python 3.1
• Tensorflow 1.0
• Keras 2
• Coremltools 0.4.

Demo

這裡我將現有的風格轉換模型集合在一起寫了一個風格轉換Demo，具體可以見截圖：

Demo地址：https://github.com/kingandyoga/StyleTransfer-iOS

參考文獻

[1]. Ethan Chan and Rishabh Bhargava. Show, Divide and Neural: Weighted Style Transfer[D]. Stanford University,2016

[2]. Leon A. Gatys, Alexander S. Ecker,Matthias Bethge. A Neural Algorithm of Artistic Style[D]. Germany,2015

[3]. Justin Johnson, Alexandre Alahi, Li Fei-Fei. Perceptual Losses for Real-Time Style Transfer and Super-Resolution[D]. Stanford University,2016

[4]. Leon A.Gatys, Matthias Bethge, Aaron Hertzmann, Eli Shechtman.Preserving Color in Neural Artistic Style Transfer[D].Germany,2016

[5]. Apple Core ML documentation

[6]. Style Transfer Sample

[7]. MLModelZoo