深度學習圖片壓縮，降低一半圖片大小

近年來，深度學習在計算機視覺領域已經佔據主導地位，不論是在圖像識別還是超分辨重現上，深度學習已成為圖片研究的重要技術；現在深度學習技術已進入圖片壓縮領域。今天就和大家說一下，圖鴨研發的以深度學習為內核的圖片壓縮黑科技——Tiny Network Graphics ( TNG ) 。

何為TNG

TNG 是圖鴨科技一款以深度學習為內核的圖像壓縮技術，在保證圖片質量的情況下，通過演算法儘可能降低圖片的大小，幫助圖片類企業節約大量的帶寬成本。

相比目前市面上的圖像壓縮技術，圖鴨TNG採用了深度學習卷積網路（CNN）的編碼方式，與JPEG 相比，壓縮率提升了122%；與 WebP 相比，壓縮率提高了30% 。而且相比 BPG/HEIF 等圖片格式，TNG 採用了 CNN 技術而非 HEVC 編解碼器，避免了高昂的專利費用。

TNG中的深度學習演算法應用

TNG 採用的演算法是深度學習技術中的卷積神經網路（CNN）。卷積神經網路是一種前饋神經網路，它的人工神經元可以響應一部分覆蓋範圍內的周圍，適合大型圖像處理。

圖1 卷積神經網路示意圖

http://blog.csdn.net/hjimce/article/details/47323463

上圖是卷積神經網路示意圖，卷積神經網路就像搭積木一樣；一個卷積神經網路由卷積、池化、非線性函數、歸一化層等模塊組成。最終的輸出根據應用而定，比如現在大火的人臉識別領域，工程師們通過 CNN 來提取一串特徵來表示人臉圖片，對特徵進行異同的比較就是人臉識別。

深度學習圖像壓縮完整的框架包括 CNN 編碼器、量化、反量化、CNN 解碼器、熵編碼、碼字估計、碼率-失真優化等幾個模塊。編碼器的作用是將圖片轉換為壓縮特徵，解碼器則是通過壓縮特徵恢復出原始圖片。其中編碼器和解碼器，可以用卷積、池化、非線性等模塊進行設計和搭建。

（圖2 深度學習圖片壓縮框架）

除了上述提到的卷積神經網路，在 TNG 里，圖鴨還採用了量化與反量化的技術。通過量化的技術，將浮點數轉換為整數或二進位數，如去掉浮點數後面的小數；這個方法可以節省像素所佔比特數，以便減少圖片大小。與之對應，在解碼端，使用反量化技術將變換後的特徵數據恢復成浮點數，如給整數加上一個隨機小數，這樣可以一定程度上降低量化對神經網路精度的影響，從而提高恢復圖像的質量。

深度學習設計圖片壓縮演算法的優勢

圖鴨科技通過深度學習技術研發的圖片壓縮 TNG在內部的測試上，其整體的壓縮效果已經超過WebP 與 BPG，下圖是在 kodak 24 標準數據集上測評結果,分別是 PSNR 值與 MS-SSIM 值。

圖 3 圖4在kodak24標準數據集上測評結果，上圖為PSNR結果，下圖為MS-SSIM的結果

熟悉圖像壓縮的朋友可以直接通過PSNR和MS-SSIM值看出:TNG的PSNR值與MS-SSIM值明顯高於WebP、jpeg2000和jpeg；除此之外TNG在高碼字的情況下PSNR值高於BPG，且其MS-SSIM值基本一致高於BPG。

下面將分析幾組測試圖片，主要是TNG與WebP、BPG的壓縮效果對比

在低碼字情況下TNG與WebP壓縮效果對比

TNG

Webp

圖5圖6 低碼字情況下TNG與WebP壓縮效果對比

相比 TNG，WebP 儘管保留了更多的細節，但是其失真更多，不利於後期恢復；而 TNG 採用了保邊濾波的方法，讓其失真更少，圖像後期恢復明顯優於 WebP。

在高碼字情況下TNG與BPG對比

（圖7圖8 高碼字情況下TNG與BPG壓縮效果對比，其中圖7為 TNG，圖8為 BPG）

上面兩幅圖是高碼字的情況，我們可以看到在 BPG 的圖片里出現了顏色失真的情況，而且在實際測試中，BPG 在放大後會出現一些塊狀——高頻失真導致的振鈴效應；而反觀 TNG 其基本不會出現這類的失真狀況。

顏色失真是因為BPG在編碼圖片時，其YUV通道是分開進行編解碼，產生了一些色差。振鈴效應是因為 BPG 在編碼壓縮時儘管圖片的不同塊內容不一樣，但採用了同一編碼參數，而導致的圖像退化中信息量的流失，尤其是高頻信息的丟失。

而TNG在編碼時考慮到了整體圖片的情況，採用了同一編碼，也就避免了上述的情況。可見相比之下，在細節上，TNG所用圖片壓縮演算法更好。

在低碼字的情況下TNG與BPG的對比

圖9圖10低碼字情況下TNG與BPG壓縮效果對比，上圖TNG下圖BPG

在低碼字的情況下，BPG壓縮圖片中出現了偽輪廓和塊效應等問題，整個圖片的連續性比較差；而TNG的圖片連續性和物體的輪廓保持的更好。

總結

目前圖鴨TNG相比JPEG，其可節省55%碼字，換句話說，如果一家圖片企業之前使用的是JPEG，現在換成TNG後，將節省55%的圖片帶寬。總體而言，藉助於深度學習設計圖像壓縮演算法是一項非常具有挑戰性和發展前景的技術。