HDR 電影技術,目前(2012 年)發展到什麼程度了?
天空 - HDR攝影短片視頻 我一直認為現代電影攝影技術,最該突破的一道關卡,不是什麼「高幀」也不是「高解析度」,那些都有損電影影像的本質。(真正的「高幀」「高解析度」,只會讓電影看來反而假了。)
我個人真正期待的電影攝影技術,是將 hdr ,從硬照上,搬到電影攝影機上,用雙鏡頭,雙ccd(或cmos)取像,同時軟體處理。若能實用化,將會成為改變電影文明的大事。
謝邀。正好我因為一直深感數碼相機記錄範圍不足傷神,而潛心研究(自重,玩笑)HDR處理,可以稍微扯一點。
提主給出的視頻,是HDR延時攝影。目前的延時攝影其實不能太算作傳統意義上的拍電影。因為處理上依然是在電腦上逐張HDR合成再拼接成片段,而不是拍了片段再整體HDR合成。目前大多數單反都能拍HDR延時。主要就是處理的時間成本問題。
-------------------------------------------------------------------------------------------------
HDR其實發明很早了,數碼相機還沒普及時就在弄了,不過到現在還沒全面達到輕鬆易用的程度。HDR視頻的提出到現在也有十多年了,2000年就有好幾篇消費級別的HDR視頻的學術論文了。如姜弘宇所說,原生HDR影響的顯示非常受限於硬體環境,包括顯示技術和帶寬問題。所以現在階段HDR主要目標是:把大動態範圍(由現場光比決定)的光信息,「壓縮」到8位JPG內。
其實相機很早就有機內HDR功能了,比如索尼的「DRO」、佳能的「高光色調優先」,尼康的「動態D-Lighting」等,它們是通過調整Gamma曲線的狀態,來改變畫面的影調。這種改變往往體現在高光部分或者陰影部分的對比度增加,但不會提升相機的成像總體寬容度。又因為是一種單張HDR類型的處理,只能對付非常有限的光比,另外效果也真的是不明顯(可能是怕容易hardcore過度,像instagram的一鍵亮度修正就很容易harcore)。而如果用raw拍攝,基本上可以無視那個功能。這個功能基本上就是針對JPG出片用的,而且會降低畫質(至少佳能的會),專業人士根本不用。
2年前 Soviet Montage公布了一段用2台5D2拍攝的HDR影片:https://vimeo.com/14821961
號稱是首部真正的HDR,出來時還是相當振奮人心的,「Finally someone did it!!!」,該公司說是致力於低成本的HDR解決方案。他們的這套解決方案是出售的,以收集資金研究更好的解決方案,不過2年過去了……沒消息……就出了2個iOS上的拍照app……也許這個項目就這麼坑了……
2台一起拍,最主要的解決點是如何用讓不同位置的相機沒有視圖差。 Soviet Montage的解決方案是用了個分光鏡(參考下圖),把影響分成2個分別進入兩個相機。這個方法在2001年和2007年的學術論文中有提到過。
Soviet Montage 的演示片段中,風景的效果已經相當迷人了,不過拍人時依然囧了,這也是很多全局HDR的問題:皮膚的細節容易被過分強調顯得不自然。對於環境人像HDR,目前的主流做法是手工蒙板式地去掉臉部的HDR……說白了就是沒轍……
最近的民用新產品中HDR的功能似乎越來越得到重視,canon的5D3自帶HDR(照片)拍攝模式、sony更是開發出了HDR movie功能(http://www.sony.net/SonyInfo/News/Press/201201/12-010E/index.html),不過sony這個還沒實裝,目前的計劃也只能看到8-13MP級別的手機相機上應用。
專業產品上,目前越來越多的錄像機都能記錄很大的動態範圍了。RED和Arri這2個公司也開發了針對HDR的感光晶元。RED公司有個HDRx(http://www.red.com/faqs/hdrx/overview)的技術。A track為正常曝光,X track為「高光保護」,就是過爆的,可以自己設定過爆值。ISO和光圈不變,改變的是曝光時間。官方說,兩個track是沒有時間斷層的,但是沒講原理……不知道是有兩層感光晶元還是也用了分光鏡。數據以自家的R3D類型文件存儲。這裡有一個後期視頻過程: https://vimeo.com/24636714 。最新的EPIC-X錄像機的動態範圍為13.5EV,同時擁有最高18EV程度的HDRx設置,能直接拍12-16位的raw視頻。pro套裝價格是……6.5w美元。
但是,和目前主流相機的RAW一樣,這個只是記錄了一個大的動態範圍的數據而已,沒有得到HDR,要在目前的屏幕上得到HDR,得經過渲染。我們拿到片源後還是得手工渲染。
做過HDR攝影的人應該知道,目前主流的HDR演算法處理中,沒有完美的萬能配置,連個auto都沒有。根據不同場景,為了完美的效果,我們都得手工調整十幾個參數才行。而新出的5D3自帶的HDR是很傻瓜的,效果主要看上去挺足夠的(雖然肯定沒有手工的完美):http://www.flickr.com/search/?q=5d3%20hdr 可惜佳能沒有透露演算法細節……另外人皮膚的問題還是有點……
如果處理器的計算能力沒問題,我想5D3這個HDR應該是可以應用到視頻拍攝的。
前面說,目前的HDR都是把n個EV的動態範圍通過處理壓縮到8位JPG能顯示的數據。這其實是個曲線救國的解決方案。直接開發出能顯示出更多顏色屏幕顯示/處理技術才是直奔主題的。也有人認為這才是短期的可行方案。不夠要等到視頻標準升級到HDR級別,估計確實需要幾十年,帶寬、介面、文件格式、編碼、存儲、生產線等都得跟上不是一朝一夕的。
=========================================
老實說我覺得目前HDR的發展一直進展不是很快,不管是民用級別還是商用級別。下面我再稍微補充寫一下HDR視頻的實現難點。
- 圖像信息的獲取,就是拍照,記錄光
- 把信息顯示在屏幕上
如果相機可以捕捉到所有色彩,如果顯示器也能顯示所有色彩,那我們的HDR的實現要容易得多,根據人眼的gamma值,修正下色階就行了。(人眼對光的感應和相機不同,人眼對強光不敏感,更多請見 http://forum.xitek.com/thread-273233-1-1-1.html )
但是現實是殘酷的。我們目前的技術上有著太多的數據不對稱(我自己想的說法……可能不太對):
- 真實光→感光晶元記錄的光
這個有點類似色域的問題……相機寬容度再大……也無法記錄現實中∞的顏色/光啊。 - 感光晶元記錄的光→相片文件記錄的光
目前主流單反的raw記錄能力是12位……JPG是則8位…… - 相片文件記錄的光 →顯示器顯示的光
數碼照片分享在網上給別人看,終究還是在別人家的顯示器上顯示……網上的JPG是8位的……就算你手工傳給朋友一個巨大的HDR文件…你大部分朋友用的VGA介面+一般的顯示器……就算幾年前就有完整16bit動態範圍的HDR顯示器——BrightSide DR37-P HDR了…
NVIDIA首席科學家David Kirk博士幾年前還說「我認為高動態範圍光照將是顯示系統軟硬體未來十年內最具重大意義的變革之一,就如同十年前3D世界中著色技術替代最初的光柵操作一樣偉大。現 在出現了能夠顯示完整16bit動態範圍的HDR顯示器,我敢說它同現在顯示器所表現出來的效果相比,絕對足夠讓你訝的。當這些顯示器在未來幾年內會達到一個較為合理的價位,我難以想像那時候人們還會對目前市面上這些老舊的8bit顯示設備存在任何興趣!」
但幾年過去了這東西完全就沒有普及開,甚至可以說淹沒了…目前主流顯示技術不管在色深對比度流明度上都完全不夠顯示HDR。
我前面說的,我們只是記錄了一個HDR文件,但是並沒有得到HDR的結果。所以科學家們不得不開發出了tone mapping這個演算法來委屈性地解決顯示HDR圖像的問題,也就現在的HDR後期處理的核心。
於是這樣最終下來,我們丟失了太多太多數據,不只是亮度數據,色彩數據也在丟失,這裡先不說色彩了。每一個環節都有技術障礙,有各自的瓶頸。要還原人眼觀察的世界,困難重重。只說HDR的顯示的話,個人覺得顯示技術的問題是目前最明顯的瓶頸吧。畢竟相機寬容度已經大大超過顯示器顯示範圍了。HDR文件太大無法方便的網上交換照片也沒有瀏覽器支持又是另外一個問題了。
我還想說下寬容度的問題:
老的觀念里數碼相機寬容度比膠片弱,其實現在數碼相機的寬容固定已經很牛逼了。4年前的索尼A900,JPG直出的最佳動態範圍: 索尼A900: 9.4EV (ISO 200) ;RAW檔可調的最佳動態範圍 (RAW headroom): 12.6EV (ISO 200)。Arri攝像機的更是能達到14.1EV!要知道人眼的寬容度大概也就是15ev。而膠片中寬容度最大的負片大約是10EV,反轉片只有6-7EV。
看似膠片完全不行啊,但實際出片依然是膠片效果好。why?因為膠片有著類似人眼的感光效果(還是前面提到的gamma問題,更多詳見 http://forums.nphoto.net/thread/2009-04/03/ff808081206398b101206a29af6d43ad.shtml ),是天然HDR出片。而Sensor由於其線性感應,使用了大量的levels(Bits)來紀錄高光區段的細節層次。對暗部能記錄到的信息很少,和人眼相反。
所以很多時候我們差不多是浪費了一個相機的將近一半的寬容度( http://photo.dili360.com/xwzx/xwzxsb/2011/0426/37.shtml )不然在大多數光比下我們完全可以單張HDR。現在普遍的3張HDR是一種不得已的做法(1是記錄範圍不夠2是畫質問題)。如果未來感應晶元普遍實現了真16位raw數據(目前大多數還是12位記錄,16位的話能記錄的信息量就再乘16倍,應該相當夠用了),那單張HDR的應用能一下子廣泛很多。一旦單張HDR成為主流,那HDR視頻也不遠了。
如果HDR時代來臨,我們的硬碟、網路流量、cpu時鐘也會一下子吃緊很多。16bit圖像的文件尺寸比8bit的能大好多倍,打開速度不是一個級別,處理速度更加不是一個級別,內存佔用也飛漲。做視頻的話……呵呵
上面基本都是在說硬體層次的,其實軟體(也就是tone mapping的演算法)層次也有一些障礙。最原始的tone Mapping很簡單,設置一個動態範圍窗口,按照最大值、最小值對圖像進行裁剪。最近的演算法模擬人眼及視神經感知場景的機制,爭取在保持真實的顏色與對比度前提下顯示全部的動態範圍。由於演算法複雜,參數非常多,攝影師得耐心調試才能得到一個完美的圖像。現場光線環境稍微有點變化,也會極大的影響得到的結果,好像說的不是很清楚,就是說,目前主流的tone mapping 演算法下的profile的通用性不好,稍微鏡頭一轉可能就需要重新調整。
另外計算量也不小,目前主流台式機是沒法難承擔實時HDR視頻的計算量的。
哦還有就是皮膚的問題了,前面說過了不說了。
越寫越亂,算了就到這裡吧orz
reference:
http://dcbbs.zol.com.cn/60/752_599184.html
http://forums.nphoto.net/thread/2009-04/03/ff808081206398b101206a29af6d43ad.shtml
http://en.wikipedia.org/wiki/High_dynamic_range_imaging
http://blog.likewed.com/?p=3162
佳能的第三方固件magic lantern,前段時間支持了raw攝影(雖然還比較有限),下載又開始支持dual ISO的拍攝,大大降低了HDR攝影的門檻。
HDR是為了提高寬容度而出現的技術。現在的高性能數字電影攝影機已經普遍達到12-15檔寬容度,通過幀合成進一步提升寬容度已經意義不大了。
HDR攝影的完整體現不僅僅是在攝像機和軟體上,它涉及到一整套設備和流程的更新。在當前,我覺得HDR電影的成本過高,不太適合大幅度更新。
HDR圖像的位深要比普通圖像高。當前我們的普通圖像位深是每通道8位,每像素只有256級亮度,這個的確達不到人眼的觀察標準。而HDR圖像的位深一般在16位或32位,這可以獲得更多的色彩給我們觀看。
但是HDR圖像不是僅僅採用高位深和新格式的東西。目前絕大部分的顯示器是無法達到HDR的真正要求的,人眼的視覺範圍是大約14EV,但我們的顯示器一般只能達到9EV。要想真正獲得HDR圖像,首先我們要更換顯示器。當然,現在的確是有高達17EV範圍的顯示器,但是那玩意好像還只是一個存在於紙面上的專利技術。
另外,新格式的使用導致HDR圖像的處理流程完全推翻了傳統標準。這意味著一整個行業的完全更新,從硬體到軟體的全新革命。這實在是一個浩大的工程,當前沒有一個公司有能力有實力去完成。另外,當前的各大公司也不會坐視某公司挑戰自己龐大利益的。
所以,題主的這個願望應該在幾十年以後才能達到了。當前連巨幕都沒有完全普及,實在是沒有多餘的力氣去干這件事情。主要是一個系統的匹配 就像是4k拍攝和放映一樣。
推薦閱讀: