體積減半畫質翻倍,他用TensorFlow實現了這個圖像極度壓縮模型

體積減半畫質翻倍,他用TensorFlow實現了這個圖像極度壓縮模型

來自專欄 量子位

林鱗 編譯整理

量子位 出品 | 公眾號 QbitAI

體積小,但清晰度高。

就有這麼一種基於生成式對抗網路(GAN)的極度圖像壓縮框架,經它之手的圖像雖然體積被壓縮不少,但解析度著實感人。和同類框架相比,它的效果尤為驚艷。

△ 此演算法(2379 Bytes)和BPG(2565 Bytes)畫質對比

△ 此演算法(2379 Bytes)和WebP(6066 Bytes)畫質對比

△ 此演算法(2379 Bytes)和JPEG2000(2447 Bytes)畫質對比

△ 此演算法(2379 Bytes)和原圖畫質對比

就是這樣一個體積小一半但畫質高一倍的演算法,自上個月在arXiv出現後便引發關注。

看了研究論文Generative Adversarial Networks for Extreme Learned Image Compression後,網友大呼希望這群來自蘇黎世聯邦理工學院的程序員們開個源。

△ 作者團隊

好消息是,近日,Github網友Justin-Tan用TensorFlow實現了這項研究,我們一起看看這個爆火的壓縮大法實現~

實現用法及結果

實現的第一步得準備工具,也是就是TensorFlow 1.8。

TensorFlow 1.8地址:

github.com/tensorflow/t

在batch size是1的情況下訓練,每經過一定的步數中 (默認值為128),重建的樣例/summary就會被定期寫入,每10次迭代後保存檢查點。

這些全局壓縮的圖像來自於Cityscapes中leftImg8bit數據集,總體來看,效果還比較好。

△ C=8 channel,多規格鑒別器

下圖是量化的C=4、8、16 channel圖像比較——

實現細節/擴展

你可以在下找到預訓練模型,它在C=8的channel bottleneck和多規格鑒別器損失進行全局壓縮。這個模型已經用Cityscapes中的leftIma8bit訓練了64次。

這個網路的架構是基於論文 Perceptual Losses for Real-Time Style Transfer and Super-Resolution中的附錄中提供的描述完成的,項目中最初提到的多規格鑒別器的損失是基於論文 High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs完成的。

如果你還想增加擴展,可以在Network分類下新寫一個@staticmethod版塊,類似下面這樣:

如果想更改超參數和toggle feature,可在config.py中設置。

相關地址和資料

如果你對這個壓縮大法感興趣,這剛好有幾份資料可以拿去用:

論文Generative Adversarial Networks for Extreme Learned Image Compression地址:

https://arxiv.org/pdf/1804.02958.pdf?

arxiv.org

項目首頁:

https://data.vision.ee.ethz.ch/aeirikur/extremecompression/#publication?

data.vision.ee.ethz.ch

復現項目地址:

https://github.com/Justin-Tan/generative-compression?

github.com

論文Perceptual Losses for Real-Time Style Transfer

and Super-Resolution地址:

Perceptual Losses for Real-Time Style Transfer and Super-Resolution?

cs.stanford.edu圖標

論文High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs地址:

https://tcwang0509.github.io/pix2pixHD/?

tcwang0509.github.io

歡迎大家關注我們的專欄:量子位 - 知乎專欄

誠摯招聘

量子位正在招募編輯/記者,工作地點在北京中關村。期待有才氣、有熱情的同學加入我們!相關細節,請在量子位公眾號(QbitAI)對話界面,回復「招聘」兩個字。

量子位 QbitAI · 頭條號簽約作者

?? ? 追蹤AI技術和產品新動態


推薦閱讀:

深度學習大講堂推出免費AI課程
給你打電話的可能不是人!谷歌Duplex顛覆智能助手
腦(shen)洞(me)大(wan)開(yi)的機器人,最後兩個實在無法理解?
精準醫療時代 人工智慧下的醫學變革
學習 | 如何在NLP領域干成第一件事

TAG:人工智慧 | 機器學習 | 計算機視覺 |