超解析度重建還有什麼可以研究的嗎？？

01-29

是不是已經發展到頭了？？

貼一下我自己用Matlab實現的超解析度Demo layumi/2016_super_resolution: super resolution 2015ICCV Image Super-Resolution Using Deep Convolutional Networks

其實原理挺簡單的。

訓練：網路輸入就是先縮小再放大的圖片（比較不清晰，比如matlab中imresize 用的bicubic或bilinear）通過3層CNN，去預測原始高解析度的圖片。使用predict和groundtruth每個像素的歐式距離作為loss。

測試：前向傳播一次就好了。

（上方是使用bicubic放大的圖片，下方是我demo的結果）

我有一個師姐碩士論文做的這個，基於深度學習的超解析度圖像重構。

很難出成果了。

最近幾年基於Sparse Coding的方法已經做到state-of-the-art級別的重構效果了，而且現在由於Deep Learning井噴式的發展讓SR的效果又上了一個台階，老闆審CVPR2016的一篇用RNN做Super Resolution的文章重建的效果比原圖還好，簡直逆天了。

不過新方法的效果如果能超過A+，發發paper還是沒問題的。

這個問題我研究過一段時間，圈子就這麼小。你搜一下就有了，有個華人教授在國外用sparse coding做這個問題做的很好。

深度學習方面，這兩年湯的團隊在這個問題上水了三篇論文。pami也算其中一篇。徐立的團隊（好像是）修改了一下卷積將效果提升不少。cvpr15年的論文有人用別人實現的sparse coding轉rnn的方法做這個問題的，也比湯那個組的效果要好。

所以，傳統方法都是sparse coding做的。深度學習在去實踐的時候都去模擬傳統sparse coding的思路去做這個問題，但是具體模擬到什麼程度，只能呵呵噠。。看看湯的那三篇論文你就知道了。。

值得一提的是，湯的論文用15000000次迭代才超越以往的演算法，有點長啊。。。這訓練都累死了。一般深度學習50000次後效果都會比較明顯了吧。

躺著打字。。沒法給你貼文章。想要的話可以以後貼上。。

----------------------------------------------------------------------------------

補上上面說的幾篇文章。

湯曉鷗團隊的：

[1] Learning a Deep Convolutional Network for Image Super-Resolution, ECCV 2014

[2] Image Super-Resolution Using Deep Convolutional Networks, PAMI 2015 (內容稍有不同，因為pami規定轉投的文章需要有30%的不同，效果稍微提升了一下)

[3] Compression Artifacts Reduction by a Deep Convolutional Network, ICCV 2015 （換湯不換藥，大家好好學學怎麼水論文。。）

Jianchao Yang用sparse coding解決超解析度的經典論文。

[4] Image Super-Resolution via Sparse Representation, TIP 2010

[5] Image Super-Resolution as Sparse Representation of Raw Image Patches, CVPR 2008

ICCV 2015上用rnn模擬sparse coding做超解析度的論文，效果提升不少。rnn轉sparse coding的idea還是大神Lecun提出來的。這篇文章也只是用一下。

[6] Deep Networks for Image Super-Resolution with Sparse Prior

其實image superresolution和image restoration, denoise都有很大關係，徐立他之前做過一個deconvolution的文章，效果很好，但是上面文章都沒有比。也可以好好看看。

PS: cvpr 2016上出了好多image super resolution的文章，還有個專門的session，這幾年這個問題很火啊。Cvpr2016

個人認為還是有發展空間的，
Jiwon Kim 的兩篇確實能將psnr懟到很高，效果也不錯。但這些論文上的loss function使用的比較『』傳統『』.。如果還在這個思路上去做很難在有大幅度的提升（個人認為哈）。轉換下思路，最近有兩篇論文，一篇Li Fei-Fei組的Perceptual Losses for Real-Time Style Transfer and Super-Resolution。另一篇GAN的
Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network 視覺效果上非常棒，速度上也不錯。都是在
Loss Functions 上做了文章。所以SR的水很深╮(╯▽╰)╭

如其他幾位答主所說，目前超解析度重建的A+演算法均已達到很高的水準。關於超解析度重建，人們關注的無非是重建效果和實時性兩個指標，因此可以從這兩個方面去討論其發展空間。

由於我對基於稀疏表示的超解析度重建比較熟悉，就以此為例談談還能做出哪些改進。

1.加上或更換新的正則項。若能提出更好的正則項進行優化，重建質量有望進一步提高。

2.在基礎的稀疏分解演算法上加以創新。傳統的OMP演算法顯然速度很慢，若能提出快速的稀疏分解演算法，將引起較大革新，當然，這應該劃分到稀疏表示領域。

3.策略上加以創新。這種方法比較討巧，在前人演算法的基礎上，在重疊塊選擇、迭代等策略的上加以適當優化，都能使實時性或重建質量得到一定的提高。

目前來看，要想在重建質量上實現質的飛躍難度較大。或許可以考慮在實時性和計算量上進行優化，畢竟高水平的文章還停留在演算法層面，找到適用於手機軟體等需要計算量小實時性高效果又能超越傳統差值的超解析度演算法也具有很高的應用價值。

並沒有，仍然有很多可以挖掘的地方。比如

真實/監控環境下的超解析度（如何去噪）；

如何生成photo-realistic的超解析度（基於GAN/PixelCNN）；

如何判斷重構出的高解析度圖像的質量等（PSNR/SSIM不能視作perfect SR evaluation metric）

大家對google新發的一篇paper有研究嗎？ Rapid and Accurate Image Super Resolution，據說實時性是之前演算法的100倍

不是做視覺的，但是研究過SR並且把用於相關思想用於其他領域。個人覺得現在SR有個問題就是PSNR很好之後，進一步的提升不好進行評估。

在非scientific領域，比如用GAN來進行SR的paper，PSNR的表現其實還不如CNN的效果好，但是的確，GAN做出來的SR，「看上去」比CNN做出來的好。但是這個「看上去」，就很難定量評估了。

比較CNN（或者sparse encoding）和GAN做出來的，最大的區別的就是CNN「看上去」像是對圖片做了Smoothing處理，這個Smoothing對降低MSE或者提升PSNR是有利的，但是對圖片「看上去」的樣子有一定損害。GAN沒有Smoothing這個缺點，所以圖片「看上去」比較好。

但是問題在於，SR和高清圖片本身直接，是有差距的，就是這個差距是如何表現出來，對CNN來說，不知道的部分，就用Smoothing代替，對GAN來說，不知道的部分，就用隨機噪音猜一個答案。

在scientific 領域，比如顯微鏡圖片的super resolution，低劑量X光，SR肯定還是大有可為的，並且，對這種SR的需求來說，PSNR只是一個參考指標，最終的test，還是要根據圖片本身的用途來看。畢竟，對普通的SR，「看上去」好看就是最終目的，但是對scientific 用途，要真實反映研究對象才是最重要的。

今天做了SR的發表，聽發表的兩個教授勸我，趕緊放棄，因為現在PSNR提高一點都非常困難，我現在也不知道改轉不轉行

CVPR2017有專門的比賽，有新庫。

自相似性和MRF方法有改進的空間嗎？