影視作品中把模糊圖像處理成高清圖像的技術存在嗎?
一般都是那些警察辦案的作品
@宮生 老師的答案跟問題完全不是一回事兒。
運動抖動或者相機抖動導致的圖像模糊是可以通過計算修復的,簡單說,抖動相當於若干張清晰但有一定透明度的照片錯位疊加在一起,所以如果能算出抖動的運動軌跡,還是有可能修復的。
而電影裡面,是一種丟失信息的復原。這個根本沒法做到。這好比演算法再牛也不能把魂斗羅裡面的小人修出史泰龍的細節。電視劇電影裡面的模糊都是由於錄製設備本身清晰度所限(因為設備成本和存儲成本),現在市面上監控設備的解析度一般是30萬左右,好些的也不過百萬。加上距離拍攝對象一般超過5~10米,所以一般能辨別出男女就不錯了,能看到臉的細節是絕對不可能的。
另外一個因素是光線,由於光圈和快門時間,所以將實際光線轉化為RGB的時候,會丟失過暗及過亮的細節。例如,實際光線亮度範圍是0~1000,RGB支持的有效範圍是250~500,那超過500的都只會記錄成500。後期處理是無法從500逆向反推出原始亮度是500~1000中的哪個值。這都是信息丟失,無法補救了。
通過類似銳化或一些濾波演算法可以極為有限的「清晰」圖像。原理是強化模糊的區域的「邊緣」,「對比」,使得看上去清晰了一些。但實際表達的信息沒有增加。
丟失的細節,永遠,永遠找不回來了。
附,解釋一下評論說的車牌識別。車牌識別還真不是差值演算法這麼簡單就能搞定的。車牌識別還是要用到圖像模式識別的理論(這方面我只是業餘)。基本原理是,車牌只有有限的數字和字母(加起來36個而已)。他們的形狀特徵固定。將圖像中的每個字母數字拆開,然後往現有的特徵上套,看跟哪個特徵最接近,就認為是哪個。識別率目前絕對在90%以上。
這個方法牛叉之處是全自動的,無需使用者肉眼參與識別。輸入圖片輸出識別後的車牌。無法識別(就是感覺跟哪個字母都不像的)的才會人工介入。
差值演算法只是放大圖片,並「猜」一些細節出來,最後識別還是要靠肉眼。所以屬於笨辦法,不具現實意義。
反對排名第一的回答。首先,二逗逼的那個僅僅針對抖動模糊,如果是失焦造成的,一點辦法都沒有,而且你以為真有那麼神?我為了這個功能特地更新到cc,結果效果奇差,一定是我人品不好。第二,光場相機,看一下它的原理就知道根本不是什麼模糊變清晰,而是人家把所有對焦的結果都存儲下來了!而且光場相機的圖片格式是加密的,不買他們的軟體就休想什麼模糊變清晰了。第三,不能憑空產生信息也不完全對,特定情況下有三種方法可以修復,一種是人工重繪,二是內插,三是收集足夠多的數據然後腦補。
@宮生 和 @talich 的答案在我看來各有偏頗。
拿 @talich 的例子來說。一幅模糊圖片,只要找到合適的濾波器,就能極大程度的恢復。但問題就在於這個濾波器很難自動找到。尋找濾波器的方法叫做 blind deconvolution。這是一個 ill-posed 問題,因為這個問題有無窮多解,而判斷解的合理性只能通過肉眼對內容的識別。目前的很多演算法是基於邊緣探測,但是這種方法有很大的失敗可能。
@宮生 提到的 refocus 則根本不是圖像還原問題。光場相機紀錄了四維光場(成像面的每個點對應一個光錐,二維,成像面本身是二維),refocus 只是一個簡單的信息提取問題。首先,讓模糊圖案變得好看,有兩種方法。
一種是圖像復原,一種是圖像增強。
圖像復原是恢復原樣,增強則視覺上好就可以。
比如增加對比度,看著黑白分明了,這個是增強。簡單的銳化也是。這個都是把原圖像的基本特徵向普通圖片靠攏,給人以看著舒服的感覺。
復原的基本原理,是找出一個造成原像失真的模型,然後根據這個模型來試圖最大限度的去除失真。
最常見的失真,有噪點,有運動模糊,有失焦這樣的。建立正確的模型,估計出模型參數,用正確的濾波器,就很大程度上能修復圖像。
比如噪點,就可以通過取局部中值這樣的方法去除。周期性雜訊,在頻域找到雜訊源挖除。各種反變換,比如維納濾波,Kalman 濾波,都是很常見的。
效果上,可能沒有電視上看得那麼戲劇性,但如果模型正確,信息沒有真正被雜訊滅掉,那也可以有很不錯的對比效果。不過,像電視上那樣好像有個萬能的演算法,自己就知道該用什麼模型什麼參數只要點兩下,應該是戲劇化的表現方法。
但是也不是什麼圖像都能修復的。你有板子把臉擋住,模型很簡單,但是什麼都解不出來。
比如,如果模糊圖像是因為採樣率不夠,放大出來的,比如重複像素點出來的馬塞克,或者線性/非線性,比如樣條差值出來的均勻漸變的模糊,那個是信息根本就不夠。模型不能無中生有,是無論如何也清晰不了的。
比如,下面這個例子取自經典教科書,Gonzalez 的 Digital Image Processing,第五章,圖像復原:
原始圖像:
用維納濾波器:
看上去恢復了不少,但放在影視作品裡可能不夠有力。下面這張圖看上去差不多:
用同樣的維納濾波器修復:
這個看上去就給力多了。實際上,第一幅圖和第二幅圖的區別,在於後者的白雜訊要小了五個量級。沒有了白雜訊,只有運動模糊,就可以用反變換很好的恢復出低噪圖像了。但是,對於普通人來說,這些差別好像不大,事實上對於影視畫面來說,第二張模糊雖然模糊,卻很乾凈,也更上鏡吧。
我認為適當的提高像素的對比度,做一些濾鏡處理是可能的。
但很多電影上,把屏幕上1%的面積,一個煙頭在地上,滑鼠畫個框放大後。軟體一處理,然後就看清上面的牌子了。。這完全是扯淡。。如果他們在煙絲上再一拉滑鼠,是不是能看到煙草的纖維結構,還做個分子排列圖啊~!
信息採集,本身就是反映一家企業一個國家,基礎學科國力的東西。。你現在日常能見到的,視頻採集設備中,要數汽車超速拍照,獲取車牌的那個攝像頭了。但據稱這個東西,一個點的成本要30萬RMB。就算這幫人死磕國家的銀子,但這個攝像頭,沒有個幾萬塊是買不到的。電影里一個走廊的攝像頭,不可能用這種高級貨。。所以電影上是比較扯的。。大多數是假的,信息不可能憑空冒出來。目前的軟體可以對模糊的圖片進行處理,但不能解決解析度的硬傷。簡單說,你拍照的時候,手抖了一下,畫麵糊了,大體上可以補救,但是你拿個30萬像素的手機,拍幾百米外的一張海報,放大一百倍,然後首長說這個地方弄清楚點,然後來了個什麼神奇的軟體一下子放大幾千倍還高清畫質,這就純屬扯淡了。
你指的是哪種模糊,失焦?運動模糊?霧化?
卷積核已知嗎? 還是低像素圖片簡單插值放大造成的模糊?
電影、電視劇里:
當然是先有清晰的圖再劣化成模糊的做出特效。
現實中:
對圖像的去模糊處理,都是解方程,
條件不夠的話,就把靠譜的猜想硬加進去,效果各異,百花齊放。
圖像的清晰度,是一種主觀的視覺度量。事實上,看起來更清晰的圖像,並沒有增加圖像的真實信息量,反而可能使真實信息量減少,這是因為無論採用什麼圖像處理演算法,都不能憑空產生新的圖像細節,只能使原有的圖像信息進一步被破壞,丟失。所以,圖像清晰和圖像信息量大,兩者沒有對應關係。
將模糊圖像處理成清晰圖像,是以 「滿足人眼觀察的視覺效果」 作為主要目的,即 「看起來清晰」,技術手段主要是 銳化、對比度調節和色彩平衡。在Photoshop 中有一組插件,名為 Refocus,可以將以上若干技術手段組合,達到使模糊圖像看起來更清晰的效果。
2011年,Adobe公司曾展示了最新的圖像去模糊技術(image deblurring),達到了非常驚人的效果,如下圖:
基於純軟體演算法,對於運動模糊圖像的校正能力達到前所未有的高度。
其次,如果是一組連續拍攝的模糊圖像,可以採用前後幀圖像的相關性進行去模糊處理,這比單幀模糊圖像的處理更簡單,因為可用於復原的圖像信息更多。
再次,藉助某些特殊的成像設備,也可以實現模糊圖像的重新聚焦,如2011年,Lytro 公司正式發布了世界首款光場相機,具體可見以下鏈接:
http://www.guokr.com/article/69734/
綜上,影視劇中的神奇效果並非無法實現,藉助圖像處理演算法或者某些特殊的採集設備,完全可以在現實中做到。
假的,不可能有這種局部放大的技術!
其他答案里說的模糊變清楚僅適用於部分情況的模糊:運動模糊、放射模糊,雖然看起來是模糊的,但是圖片信息可以由周邊的圖像計算。但這並不是適用於所有圖片都可以這樣,像圖片的解析度低這種就無法局部放大就絕不可能實現!甚至光學成像時都沒有獲得那麼細節的圖像信息,你用軟體搗鼓搗鼓就算出來了?想想也知道不可能。
樓上樓下這些偽科學家們,求求大家動動腦子,不要看人家演示了一個模糊變清晰就認為是放之四海而皆準的萬能法寶。這個技術叫 super resolution,在計算機視覺領域已經有比較充分的研究了。最近一些基於機器學習和深度學習的成果有很好的效果。
附一個 demo 網站:http://waifu2x.udp.jp
以我所知,這項技術在動畫高解析度拉伸中已經廣泛應用了。你下的所有720p的里番基本都是用這個技術,從480p的dvd中拉伸出來的。電影據我所知也有,不過平時看的不多,暫時說不出具體的例子。圖像模糊,就是丟失真實信息。如果要得到清晰的圖像,那就是圖像復原,就是把真實的乾淨的信息找到,並且體現在圖像上。
信息丟失的方法可能有很多種,一種是壓根不存在,比如圖像解析度偏低,沒有足夠的像素體現需要的信息,另一種是存在,但是由於雜訊的干擾,隱藏在圖片信息里。
現有的技術也大概是按照這兩個方面去走。
如果是解析度低,我們可以用多幀圖像做超分辨重建,再下採樣。也可以直接平行的重採樣。這樣的方法一般對視頻材料用的比較多,選取多幀圖像進行處理。每張圖片都會保留一些自己獨有的信息,我們希望能夠將這些結合在一起,恢復原有的圖像。這種情況下,往往會有一定的效果,因為畢竟是多幀恢復。但也可能遇到,幀間時間差較長,圖像內容發生較大變化的情況。
如果是存在雜訊,那麼就是去噪,首先就是要分析雜訊是什麼。現實世界中,能夠造成雜訊干擾的因素很多,光線,抖動,正如上面有位朋友說的,丟失就是丟失了。我們能做的就是猜,模擬出一個雜訊模型,符合當前圖像的雜訊,然後就是去噪。就像talich給出的示例一樣,受到維納雜訊干擾的圖片,用維納濾波處理後,圖像很容就恢復清晰的狀態。現實情況往往比這複雜的多,包含的雜訊也沒有規律。有時候可能就是幾個無規則的脈衝,因為缺失信息,就是無法恢復。
綜合來說,恢復清晰圖像的可能性有,一般屬於比較理想的狀態下。對於真實環境的圖片,想要達到電影里的效果,是非常困難的,甚至是不現實的。
這是圖像處理的經典和熱門問題。現有演算法基本能處理運動模糊,方法就是重建相機運動軌跡,然後反解這個運動模糊的過程。只是像旋轉運動,因為相機沒有位移,現有方法不能正確重建。當然有的人給相機加一個運動感測器,這樣記錄了運動軌跡,就能比較容易的去模糊了。另一方面,如果模糊是物體而非相機的快速運動造成的,那麼問題會相對容易一些,因為還有背景作為參考,去估計物體的運動。
光場相機實現了聚焦的後期調整,因為它本身採集了比普通相機更多的信息,或者說基本上就是同時採集了不同焦距下的圖像。你用美圖秀秀給自己照片來個馬賽克,還可以去碼么?一樣的道理,丟了的信息就是丟了。
在圖像處理的研究領域,這種技術叫super resolution。不過我覺得做不到電影里那麼厲害,主要還是要看模糊的程度。因為圖像里沒有的信息,你是無法憑空捏造出來的,除非你對圖像內容進行了預先的假設。
參考 http://en.wikipedia.org/wiki/Super-resolution。前邊講了許多,安利一個大家都能用的軟體吧
「PhotoZoom」
屬於採用演算法強行提高解析度的軟體,效果很好。
直接上圖
左邊是操作區,調整要輸出圖片的數據。
可以很清楚的看到圖片中間的掃描線,上下解析度的差別。
附一張掃描線上下的特寫
原尺寸700x373
輸出尺寸3200x1705因為是強行修復來提高解析度,所以不能達到原圖畫質;但與修復前,已經是天壤之別了。
其實正是堅信信息不會憑空冒出來,所以很多人的答案就是這不可能。但是我們可以從原圖像得到很多極有可能正確的信息。
我曾見過微軟亞洲研究院展示的一種演算法,我親眼見到一張像素很低的照片變得十分清晰。
原理是:猜!舉一個簡單的例子,幾個相鄰的像素依次從淡藍漸變到深藍,那我為什麼不能認為原本的圖像就是從淡藍漸變到深藍,我製作一張像素更多更清晰的圖像也讓這部分像素從淡藍漸變到深藍,這樣似乎也是很合理。
當然演算法規則不如我闡述的那麼簡單,還有很多東西去考慮,但基本原理還是猜,只是如何猜的更準確罷了。
而所謂濾波器也是一種猜測規則罷了。
事實上目前人工智慧比不上人腦的原因也是猜的不夠准。人眼捕捉一些靜態畫面就可以自動腦補成動畫;靠左右眼角度不同的兩張平面圖就能猜測出立體圖像,我們每天看到的立體世界中有超過90%是自己猜出來的,但我們相信這樣的猜測基本就是正確的。
一大波研究員正在為實現看清犯人的臉而絞盡腦汁。(多圖,未入寺研究僧胡扯八扯。。)
首先,我們來介紹一個《犯罪現場調查》甚至FBI可能用到的一個軟體vReveal,它的作用主要是圖片增強與「第一代」圖像復原。 就像下圖所示【盜圖侵刪==】。
圖像增強是圖像預處理中非常重要且常用的一種方法,圖像增強不考慮圖像質量下降的原因,只是選擇地突出圖像中感興趣的特徵,抑制其它不需要的特徵,主要目的就是提高圖像的視覺效果。譬如美圖秀秀里的銳化——讓邊緣清晰,像下圖。這種方法都是在圖像本身上進行各種計算,平滑、去噪、直方圖計算、頻域增強。。。好處是根據人眼需要突出想看的,是一個主觀過程,並不要求逼近原始圖。因此對於攝像頭裡那個黑影我可以增強它的輪廓,但我還是分不清他是誰。
圖像復原1.0版本的目標是對退化(傳播過程中的雜訊啊,大氣擾動啊好多原因)的圖像進行處理,儘可能獲得未退化的原始圖像。如果把退化過程當一個黑匣子(系統H),圖片經過這個系統變成了一個較爛的圖。這類原因可能是光學系統的像差或離焦、攝像系統與被攝物之間的相對運動、電子或光學系統的雜訊和介於攝像系統與被攝像物間的大氣湍流等。圖像復原常用二種方法。當不知道圖像本身的性質時,可以建立退化源的數學模型,然後施行復原演算法除去或減少退化源的影響。當有了關於圖像本身的先驗知識時,可以建立原始圖像的模型,然後在觀測到的退化圖像中通過檢測原始圖像而復原圖像。像菊花手機的再定焦就是在拍攝照片時就記錄了這些黑匣子的信息,所以你可以重新選擇焦點:
想用圖片復原攝像頭裡的黑影,前提是你採集的時候就是有犯罪嫌疑人的清晰圖啊。所以它也不能提供多餘的圖片信息。
接下來,就是讓人絞盡腦汁的圖片復原方法2.0——圖像超分辨了。
一張圖我們想腦補細節信息好難,但是相似的多幅圖我們就能互相腦洞了。所以,我們可以通過一系列相似的低分辨圖來共同腦補出一張高清晰圖啊,有了這一張犯罪人的臉,我就可以畫通緝令了啊。。。
超分辨有頻域超分辨、空域超分辨還有好火的基於學習的超分辨。前兩種統稱為基於重建的超分辨。
按照傅里葉光學的觀點,光學成像系統相當於一個低通濾波器,由於受到光學衍射的影響,系統應在衍射極限解析度所決定的某個截止頻率以上的值均為零。超解析度復原技術的目的就是要在提高圖像質量的同時恢復成像系統截止頻率之外的信息,重建高於系統解析度的圖像。就是130萬像素的攝像機拍的圖我能重建260萬像素甚至更高,白花花的銀子啊!
(此段可不看) 它的基本理論依據是解析延拓理論和正則化理論。前者根據給定解析函數在某區間的取值對函數的整體進行重建。後者則是因為超分辨復原問題是一個病態求逆問題,解決這種問題的方法就是正則化,即利用圖像的先驗知識(局部平滑、邊緣保持、正數和能量有限等)來約束解空間,將復原問題轉成球最小化代價函數的優化問題。
超分辨是對圖像降質過程的逆過程。
繼續說超分辨,它其實就是根據多幅低質量的圖片間的關係以及一些先驗知識來重構一個高分辨的圖片。因此我們可以說這個高分辨的圖片信息是人造出來的,以此(弱弱)反駁樓上說不能增加圖片信息。
示意圖如下:
至於方法(這才是讓人絞盡腦汁的,全都是數學。。買菜不用數學可數學真的可以掙回批髮菜的錢。。):
那麼結果如何呢
是不是覺得「錢景」無限吶。目前來看,重建的方法還是有許多局限性的,當超分辨倍數太大時會出現過度平滑等問題。然後,基於學習的方法就很火啦,它通過機器學習方法從訓練樣本集中提取所需的高頻信息模型,從而對未知測試樣本的所需信息進行預測,達到提高圖像解析度的,目的。所以人工智慧真有可能超過人們預設,譬如我明明給他安的眼睛是800萬像素的,怎麼它看到了更清晰的圖啊啊,因為它會計算啊。。。瞎扯。。。
反正呢,就是,我們真的很努力地想用些不費錢的方法增高圖像解析度,然後說出那句——真相只有一個!或者,看到比現在還清晰的冥王星自拍照而不需要離它更近。
最後,初級學生一枚,錯誤望指出,虛心受教。。
(彩蛋,沒見過圖像處理美女圖的全部的~哈,是playboy的一幅,被和諧就不怪我額。。。)
用各種各樣的演算法理論上是可以實現的。就像暴風現在的左眼一樣。
是真的還是假的,要看你站在那個角度來看這個問題。
從過程上講,將模糊圖像變清晰的演算法多得很,國際主流的圖像處理期刊每期都有大量的探討圖像恢復(Image Restroation)和圖像解卷積(Deconvolution)方法及其改進的文章。也即是說,這件事至少不是造假(好萊塢特效搞出來的恐龍、外星飛船就是造假)。
但從科學上講,對模糊的圖像恢復是典型的逆問題。在數學上,圖像退化可以表述為退化核函數(一般稱為卷積核)和原始圖像卷積,再疊加雜訊的過程:
圖像恢復問題就是從得到的模糊圖像儘可能的估計出的過程。之所以用了「儘可能」是因為,從物理上看,圖像退化是個信息損失過程,是不可逆的。比如,我們都知道2+2=4,但是給你個4就讓你說是誰和誰加出來的,咱們就不知道了。不過數學上有辦法,把上面這個已經無解的問題,求解到一個最優的程度。這就涉及數學上最優化問題了。所以從這個角度看,圖像恢復的結果,都是「蒙」出來的,只不過蒙的很對,也很有道理,但可能不能算作「真」的。
推薦閱讀:
※如何評價陳坤的演技?
※如何從電影本身角度和價值觀角度評價《中國合伙人》?
※如何評價李玉的電影《萬物生長》?
※當你談論伍迪·艾倫時,你會講些什麼?
※如何評價電影《湄公河行動》?