體積減半畫質翻倍,他用TensorFlow實現了這個圖像極度壓縮模型
來自專欄 量子位
林鱗 編譯整理
量子位 出品 | 公眾號 QbitAI
體積小,但清晰度高。
就有這麼一種基於生成式對抗網路(GAN)的極度圖像壓縮框架,經它之手的圖像雖然體積被壓縮不少,但解析度著實感人。和同類框架相比,它的效果尤為驚艷。
就是這樣一個體積小一半但畫質高一倍的演算法,自上個月在arXiv出現後便引發關注。
看了研究論文Generative Adversarial Networks for Extreme Learned Image Compression後,網友大呼希望這群來自蘇黎世聯邦理工學院的程序員們開個源。
好消息是,近日,Github網友Justin-Tan用TensorFlow實現了這項研究,我們一起看看這個爆火的壓縮大法實現~
實現用法及結果
實現的第一步得準備工具,也是就是TensorFlow 1.8。
TensorFlow 1.8地址:
https://github.com/tensorflow/tensorflow
在batch size是1的情況下訓練,每經過一定的步數中 (默認值為128),重建的樣例/summary就會被定期寫入,每10次迭代後保存檢查點。
這些全局壓縮的圖像來自於Cityscapes中leftImg8bit數據集,總體來看,效果還比較好。
下圖是量化的C=4、8、16 channel圖像比較——
實現細節/擴展
你可以在下找到預訓練模型,它在C=8的channel bottleneck和多規格鑒別器損失進行全局壓縮。這個模型已經用Cityscapes中的leftIma8bit訓練了64次。
這個網路的架構是基於論文 Perceptual Losses for Real-Time Style Transfer and Super-Resolution中的附錄中提供的描述完成的,項目中最初提到的多規格鑒別器的損失是基於論文 High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs完成的。
如果你還想增加擴展,可以在Network分類下新寫一個@staticmethod版塊,類似下面這樣:
如果想更改超參數和toggle feature,可在config.py中設置。
相關地址和資料
如果你對這個壓縮大法感興趣,這剛好有幾份資料可以拿去用:
論文Generative Adversarial Networks for Extreme Learned Image Compression地址:
https://arxiv.org/pdf/1804.02958.pdf項目首頁:
https://data.vision.ee.ethz.ch/aeirikur/extremecompression/#publication復現項目地址:
https://github.com/Justin-Tan/generative-compression論文Perceptual Losses for Real-Time Style Transfer
and Super-Resolution地址:
Perceptual Losses for Real-Time Style Transfer and Super-Resolution論文High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs地址:
https://tcwang0509.github.io/pix2pixHD/— 完 —
歡迎大家關注我們的專欄:量子位 - 知乎專欄
誠摯招聘
量子位正在招募編輯/記者,工作地點在北京中關村。期待有才氣、有熱情的同學加入我們!相關細節,請在量子位公眾號(QbitAI)對話界面,回復「招聘」兩個字。
量子位 QbitAI · 頭條號簽約作者
?? ? 追蹤AI技術和產品新動態
推薦閱讀:
※深度學習大講堂推出免費AI課程
※給你打電話的可能不是人!谷歌Duplex顛覆智能助手
※腦(shen)洞(me)大(wan)開(yi)的機器人,最後兩個實在無法理解?
※精準醫療時代 人工智慧下的醫學變革
※學習 | 如何在NLP領域干成第一件事