HDR技術在影視以及其他方面的應用Ver.2.0

HDR技術在影視以及其他方面的應用Ver.2.0

8 人贊了文章

和 @MUZING 一起選做的期末課題,@MUZING 已經在知乎上發過一次了被老師提出了不少修改意見,刪改刪改整理了一下又發出來了,權當拋磚引玉歡迎各位大牛一起討論。

本文權當交流用所以還請不要轉載

那麼正文開始

1.什麼是HDR

簡而言之,HDR就是高動態範圍(High Dynamic Range),它是一個技術術語,描述了一種相關的新型電視屏幕和技術標準。

1.1簡單的HDR實例

HDR首先作為靜止攝影技術而聞名於世。在靜態攝影中,我們會一次捕捉多次曝光,然後將它們壓縮成一個單獨的圖像,而不是顯示高光和陰影色調的所有細節。

一個簡單的HDR實例

2為什麼要使用HDR

2.1HDR的歷史

法國攝影師古斯塔夫·勒·格雷(Gustave Le Gray)在十九世紀五十年代首次使用了HDR。他了解膠片底片的動態範圍限制,並使用兩個單獨的曝光來創建克服這些限制的圖像。

上述照片是從1855年開始的照相感光乳劑(感光乳劑在金屬板上)。所用的膠片的曝光範圍約為3 f / stop。一檔是下一檔的兩倍明亮或暗淡。在這種情況下,海洋和天空的細節將不可能同時保留。天空的亮度顯然遠高於水面的亮度。正常的曝光將要麼洗出天空,讓船隻可見; 保留雲的細節,海洋就會太黑,船就會丟失細節。勒格雷簡單地結合了兩次曝光,以及在印刷過程中一些創造性的減淡和加深(dodging and burning),創造了HDR最早的例子之一。

其他像安塞爾·亞當斯(Ansel Adams)這樣的攝影師,專門用來減淡和加深(dodging and burning),以延長他們的圖像的色調範圍(tonal range)。通過選擇性地欠曝(dodging)或過曝(burning)圖像的不同部分,他可以讓原本在正常印刷品中看不到的細節顯現。這種技術最終被定義為區域系統(Zone System)。

為了捕捉上面所示的色調範圍,使用單張膠片進行曝光和列印是不可能的。只有仔細操縱各種暗區和亮區才能產生這種動態範圍。亞當斯使用了一種近百年的老技術,並將其提升為藝術形式。

所有這一切的目標是創造出更貼近人眼所見的圖像。利用視網膜中的視桿和視錐細胞,我們大腦的視覺皮層能夠分別處理圖像的黑暗和明亮區域,使我們可以看到完整的亮度等級範圍。相機無論是拍攝靜止圖像還是運動圖像,都無法做到這一點。

隨著數碼攝影的出現,將這些暗房技術添加到控制相機成像感測器的軟體的出現成為可能。這些感測器受到類似於膠片的限制動態範圍有限。但是,由於只需要設置數碼相機進行多次曝光並將它們組合成HDR圖像就能獲得一個比較好的效果,現在我們在智能手機上就可以完成以往在暗房中需要幾小時的時間才能做到的效果。

以下是將四個單獨曝光合併為單個色調映射(tone mapping)圖像的示例。

隨後的每一次曝光都增加了大廈的細節。到第四張時可以看到天空中的雲彩,但建築物則完全被沖刷掉。現在看看HDR結合的結果如何顯示。

可以看到圖像中最暗和最亮部分的每個細節,就像眼睛通過適應極端光線和黑暗的層次一樣。最後的照片只有每個曝光的最好的元素,同時扔掉部分沒有用的細節。

2010年Soviet Montage用分束鏡將畫面一分為二,用兩台Canon 5D Mark II拍攝。其中一部調到+2 EV,另一部調到-2 EV,拍出來的影片再用某些方法(Soviet Montage並未說明是什麼方法)合成為HDR的影片,成為第一部「HDR」視頻

顯而易見,以動態圖像的形式進行這項工作的能力具有深遠的意義。對比度和動態範圍是決定圖像質量的最重要指標。最好的顯示器可以同時渲染深黑色和亮白色,以展現每一個細節。HDR在影像顯示上將帶來了更大的對比度、更寬的亮度範圍、更廣的色域,使得影像更加真實和鮮活。

開發HDR電視屏幕的想法出現在2012年左右,因為屏幕製造商能夠開發具有更好的顏色和亮度響應的發光二極體。對此有兩種方法,一種是使用響應更好的磷酸材料,另一種是使用也稱為OLED的有機半導體。

採用這種新技術後,製造商能夠在保持較低的陰影水平的同時創建更高亮度的屏幕,從而有效地創造出更大對比度的屏幕。大多數HDR屏幕能夠達到1000尼特的最大亮度,但未來的標準允許亮度高達10000尼特。相比之下,普通HDTV能夠顯示的最大亮度僅為100尼特(尼特是可見光強度的測量單位)。

新的HDR屏幕也能夠顯示比當前HDTV屏幕所能夠顯示的更大的色域。今天,我們正在研究1990年推出的REC709標準,並且已經受到CRT屏幕理論最大色彩值的限制。

然而,要注意的重點是,HDR的目的不是創造更明亮,更豐富多彩的圖像,而是顯示那些通常會丟失或剪裁的高光細節,使顏色看起來更加真實。

2.2HDR顯示設備

2.2.1液晶

使用傳統的,無處不在的LCD顯示屏設計,實現HDR是不可能的。雖然可以用一個數十億瓦特的氙弧燈驅動一塊液晶面板(實際上這也是不可能的),並且不計一切的輸出功率,但是圖像不會有任何黑色的細節。LED解決的辦法是將背光分成塊或區域,並根據圖像內容調整每個區域的背光亮度。如果一個區域主要含有明亮的內容,那麼它後面的光源就會上升。如果一個區域主要含有較暗的內容,則其光源會變暗。因為LED背光系統。區域調光完全可行。LED可以以合適的陣列排列並且在調光時具有近乎瞬時的響應。當然,區域數量必須足夠多,或者換句話說,必須足夠小,以便創建可接受的精確的圖像亮度傳輸。雖然實驗模型現在能夠多達2000個區域,但是大多數消費型HDR模型現在都只可以使用128到500個區域。這種創建HDR圖像的方法受到以下挑戰:區域的數量最多只是可用像素數量的一小部分。考慮到傳統的1080p圖像中有超過200萬像素。這是相當於有幾百個,甚至幾千個調光區域。同時包含明亮和黑暗圖片內容的區域是很難產生令人滿意的照明水平:背光照明對於黑暗內容來說太亮了,對於明亮的內容來說太暗淡了,或者(很有可能)是一種不利於兩者的妥協。

HDR調光區域

在上面的例子中,你可以看到144個區域很難滿足亮度極限的內容。粉紅色的正方形突出顯示了一個這樣的區域,它既有深層次的細節,又有極端的亮度。如果我們把區域的數量翻兩番到576,用綠色方塊表示,這個區域仍然存在問題。鋼水本應該是明亮且有細節的,卻不得不被區域調暗,否則周圍的黑暗內容將變成泥濘的灰色。想要減少這類「妥協」區域,就要劃分更多的區域,但即使有幾千個區域這樣的「妥協」仍然存在。

以上都是以LED光源為背景,在屏幕後面排列。因此有營銷術語「全陣列,局部調光」(通常縮寫為FALD)。另外還有一個LED布置,被稱為邊緣照明。

到目前為止,液晶電視中LED背光的主要配置是所謂的邊緣(edge-lits)排列:LED僅位於側面(或頂部和底部),其光通過漫射被投射到整個屏幕LCD本身後面的層。雖然這能使得電視非常「薄」,但它是一個糟糕的設計,即使是SDR,這種安排也嚴重挑戰屏幕均勻性:這樣糟糕的設計使得光源排布在邊緣。更為重要的是,這種安排不可能實現HDR所需的局部對比度。將上述全陣列局部調光區域布局與以下側光局部調光區域布局進行比較:

典型的邊緣照明調光區域布局。請注意「妥協」區域與前面的例子相比有多大。

由於LED僅在左側和右側,它們的光通過從邊緣到中心的擴散來分布,因此上述布局是用於側光式面板的調光區域的唯一布局(這些「條紋」不能進一步水平細分)。結果,現在這個場景中幾乎每一個區域都會有極端的高光和暗部。與全陣列局部調光不同的是,即使有幾百個區域,它們也至少是正方形,因此均勻分布;邊緣光線不僅區域太少,而且這些區域是完全的長方形。你實際上最好不要試圖去區分亮暗對比。然而市面上有幾款邊緣照明的「HDR」液晶電視,它雖然有些可以產生一些相當不錯的峰值亮度,但是沒有一個能產生可接受的HDR圖像。

2.2.2OLED

OLED技術正好適用於HDR。因為每個像素都是獨立的光源,所以OLED恰恰是解決局部調光LCD(可以將OLED視為具有數百萬個區域)混合區域的困境。然而,OLED在絕對亮度方面面臨挑戰:在LCD的情況下,我們可以簡單地將更明亮的背光放在背後,所以能產生很大的亮度,但是OLED由於其自身條件限制並不能做到這一點,當然OLED目前正在努力推出我們期望的HDR(當前最先進的消費類電子產品OLED約在700左右)。當然,和任何正在發展的事物一樣,這必將隨著時間的推移而改善,這確實給OLED帶來了一個非常光明的未來。

2.3人眼成像原理(導入)

十多年前,數字技術誕生時,完美表現35mm膠片的效果便是數字電影的終極目的。既然技術已經OK,那麼數字電影的下一步呢?我們現在已經超越了數字電影誕生時所面臨的挑戰,現在更關心的則是顏色和畫質方面的細微差別了。

如果數字電影演變的初始階段讓我們超過了35mm膠片,那麼第二階段就完全改變了思路和方向。它不再是模仿以前的事物,而是想像和實現一個未知的目標(還原人眼的真實視覺)。

2.3.1人眼成像原理概述

我們的視覺只有一個小區域視網膜,其中包括非常高的密度的錐形細胞。這個區域被稱為「fovea」,而它占視網膜不到1%,佔大腦視覺皮層的50%以上。只有視野的中心集中在fovea,大約是兩個指甲蓋那個大的距離。

當你觀察一個超過這個中心區域兩度大小的物體時,你的眼睛必須掃描該區域,並且讓你的大腦填補空白。你的外圍視野實際並不能提供圖像,但是當你的眼睛掃過去時,你的大腦能夠構建你面前的場景的整體形象。在你的眼睛移動焦點後,即使在運動中,你也記得並能回憶起現場部分的細節,並能在整個視野中保持實時的視覺感知。

然而,你所看到的是在大腦中處理的不斷更新的構造出來的圖像,而不是你眼睛看到的「真實」投影圖像。你一直感知計算構建「圖像」,這是比以固定的,均勻的像素密度和幀速率聚焦圖像在感測器上的記錄更加複雜和微妙的過程。

這就是為什麼你的眼睛會在閱讀這個屏幕時移動掃描屏幕:為了讓你再次看到另一部分的細節,你必須移動你的眼睛再讀一次。你知道其餘文字的空間布局和整體位置,但每一個字的細節需要fovea來細細品讀;屏幕上的運動圖像也是幻覺,這只是大腦感知移動物體的伎倆。

2.3.6解析度方面的提升(SD→HD→FHD→4K→8K)

過去幾年來,我們都知道4K是會大放異彩的;現在8K也正在向我們走來。然而,簡單的增加像素解析度帶來的影響卻不簡單。較高的顏色位深度意味著更多的數據,這增加了帶寬需求。增加圖像的銳度和細節後,沒有巨大的開銷是無法完成視頻交付的。

感知解析度與實際像素解析度之間是存在著差異的,唯一對觀眾重要的是「感知」銳度和細節。因此,如果我們正在衡量不同技術及其其影響的利弊,這時必須將人類視覺的反應帶入方程式。很多時候,用蠻力解決一個問題會時帶來其他許多的問題。比如:實際像素增加了400% ,這無論在前期拍攝還是在後期製作中都是一個極大的挑戰。

2.3.7高幀率(24→48→60→120)

在現實世界中,我們的眼睛充滿了圖像信息。我們看不到隨著時間的推移的離散幀或固定圖像。然而,當我們快速連續地觀看一系列靜止圖像時,我們感覺到的運動的錯覺是由我們所說的視覺惰性引起的,因為視網膜能夠將一個圖像暫緩0.05s。

你的視網膜視錐細胞不是固定的感測器,而是一直在移動。眼脈動是一種現象,你眼睛中的肌肉會輕輕振動大約83.68Hz的微量(對於大多數人來說)。(Dominant Frequency Content

of OcularMicrotremor From Normal Subjects, 1999, Bolger, Bojanic, Sheahan,

Coakley &Malone, Vision Research)正常受試者的眼脈動頻率在70-103Hz範圍內。如果你的眼睛在一個已知的周期擺動,它的擺動使得光線撞擊錐體並在錐體身上漫遊(每個錐體為0.5-40μm,擺動約為1至3個感光體寬度)。我們可以使用時間採樣,經過處理後則會產生比單個錐體能接受到的更高的解析度。眼睛是生物系統,它需要一些額外的畫面來彌補整體的場景。

當觀察一個超過這個中心區域兩倍大小的物體時,眼睛必須掃描該區域,並且讓大腦填補空白。外圍視野實際並不能解決問題,但是當眼睛掃過去時,大腦能夠構建你面前的場景的整體形象。在眼睛移動焦點後,即使在運動中,也記得並能回憶起現場部分的細節,並能在整個視野中保持實時的視覺感知。

感覺神經元分為中心和周圍兩部分。它的工作原理如下:

它是非常好的邊緣檢測系統,如果你模擬它,它會看起來像這樣:

這意味著如果您擺動圖像,中心環繞和非中心環繞細胞將在圖像中穿過邊緣時觸發。這是一個脈衝串,可以與振蕩控制信號一起來提取更多的(2倍)解析度信號。

現實生活中你所看到的是不斷變化並且擁有雜訊冗餘的事物,你的大腦可以非常有效地從中挑出有效的數據信號。它可以超量化(如上所述)並從中得到兩倍的數據。事實上,信號雜訊是很重要的(也許你很討厭它),這種現象叫做「隨機共振」。

註:在信號分析過程中,雜訊常被認為是令人討厭的東西,因為雜訊的存在降低了信噪比,影響了有用信息的提取,然而在某些特定的非線性系統中,雜訊的存在能夠增強微弱信號的檢測能力,這種現象就稱為隨機共振。而在圖像系統中,在一定雜訊強度條件下,圖像視覺質量可以達到最佳效果。

除此之外,如果眼球83.68Hz的擺動使我們能夠感覺到雙倍的解析度,那麼如果你看一些不同幀率的圖像序列(比如24FPS電影或者30Hz電子遊戲)會發生什麼? 我們不再收到一個變化足夠快的信號,足以讓超量化發生的那種,就會扔掉很多運動的數據和細節;如果幀率高于振盪速度的一半,那麼隨著眼睛的搖擺,它會擁有更多的細節,並可以使用這些信息來建立一個更好的畫面。不過最好還是在那裡有一些雜訊來填補空白。

(Stochasticresonance in visual cortical neurons: does the eye-tremor

actually improvevisual acuity? - Hennig,Kerscher,Funke,W?rg?tter;Neurocomputing Vol 44-46,June 2002,p.115-120摘要:我們用生理記錄表明,以非常小的雜訊刺激視皮層細胞,可以增強視覺皮層細胞對小幅度移動的反應。在生理學現實的模型中,我們還展示了微運動可以用於增強皮質細胞的視覺解析度。)

83.68Hz的一半恰好約41Hz。因此,如果要將高解析度從圖像中正確「抽出」,則該圖像需要一定的雜訊(如膠片顆粒),並且幀率為> 41Hz。就像《霍比特人》一樣。一旦低於一半的極限,你的眼睛會對相同的圖像進行兩次採樣,並且不能從眼球擺動中抽出任何額外的空間信息,你將被限制在顯示圖像的解析度上,而不是一些理論上的隨機極限。

雙倍的幀速率,降低了一半的運動模糊,你自然得到兩倍的銳度。

幀頻24fps標準被認為是人眼能看到運動圖像的最小可接受速率,這已經有100多年的電影,電影歷史,一直到「數字電影」的開始。我們現在觀看35mm膠片電影的解析度和顏色,使用傳統的幀率沒有一點問題;但是使用高解析度圖像,高動態範圍和更亮的顯示器需要更高的幀速率。簡單地說,我們在更高的幀速率下感覺到較少的抖動,因為對象的相對運動幀在減少。非常高的細節,高對比度和快速運動的區域可能需要非常高的幀速率才能感覺到沒有任何抖動。

高幀率採集還有其他優點:以120fps進行拍攝允許在後期插入運動模糊,並且能夠輕鬆掌握任何數量的較低幀速率傳送要求;當然也有缺點,首先是顯而易見的:高分辨帶來了豐富的細節,但存儲和處理運動圖像所需的帶寬同樣需要很大。

彼得·傑克遜在《霍比特人》中拍攝使用48fps;而最近李安大熱的電影《比利·林恩的中場故事》更是使用3D 120fps,具有超清晰的細節,夢幻的品質將你剝離現實置身於一個巨大的故事之中,這也許是我們需要適應的一種新體驗。

2.3.9HDR相關

像素解析度不是銳度的唯一度量。在數學上,增加像素計數可以達到目的,但超出某個閾值時,將會做無用功。在到達UHD的解析度後,為了提升圖像的質量再單純的增加像素已經是沒有必要的,此時該從其他維度來提升比如HDR和WCG。

如果把兩台電視放在一起對比,前者擁有更棒的對比度和更準確的色彩,後者僅僅解析度更高,那麼幾乎每一位觀眾都會認為前者的畫質更棒。雖然解析度更低,但更高的對比度和色度讓畫面效果看上去更加自然和真實。換句話說,一部解析度和色彩絕佳的1080p解析度電視絕對要比一部對比度和色彩表現一般的4K電視更受歡迎。

HDR可同時大幅度拓展對比度和色彩。畫面中明亮的部分會更加明亮,從而使其看上去更具「深度」;而色彩的拓展的能讓紅綠藍和它們之間的所有顏色看上去更加明亮純粹。

2.4UHD的標準

隨著新的屏幕技術的發展,需要創建一個行業機構來管理和創建一個從節目源製作到傳輸分配,再到播放顯示的標準,所以UHD聯盟誕生了。今天,所有主要的工作室和屏幕製造商都是UHD聯盟的一部分(Dolby實驗室、The Walt Disney Studios(迪斯尼)、Twentieth Century Fox(二十一世紀 福斯)、Universal Pictures(環球影業)、Warner Bros. Entertainment(華納兄弟)、Technicolor、Netflix、DIRECTV Group Inc、Sony(索尼)、LG、Samsung(三星)與Panasonic(松下))。於二零一六年一月,UHD聯盟已制定三項規格,以UHD Premium之名義支持下一代高級家庭娛樂。三個規範涵蓋以下幾個方面:

·顯示設備

·發行

·母版內容

2.4.1母版內容標準

UHD聯盟內容大師必須滿足以下要求:

· 畫面解析度:3840×2160

· 色彩深度:最小10位信號

· 色彩:BT.2020顏色表示

· 高動態範圍電光轉換函數(或伽瑪):SMPTE ST2084 EOTF

UHD聯盟推薦以下母版顯示規格:

· 顯示再現:至少100%的P3顏色

· 峰值亮度:超過1000尼特

· 黑位:小於0.03尼特

2.4.2發行標準

提供UHD聯盟內容的任何發行渠道必須支持:

· 畫面解析度:3840×2160

· 色彩深度:最小10位信號

· 色彩:BT.2020色彩標準

· 高動態範圍電光轉換函數(或伽瑪):SMPTE ST2084 EOTF

2.4.3顯示設備標準

要取得ULTRA HD PREMIUM認證,設備必須達到或者超出以下的規範:

· 畫面解析度:3840×2160

· 色彩深度:10bit

· 信號色彩輸入:BT.2020色彩標準

· 顯示再現:超出90% P3的色彩

· 動態範圍:HDR高動態範圍

· 電光轉換函數(或伽瑪):SMPTE ST2084 EOTF

· 達到以下兩種亮度峰值與黑位標準組合之一:

1. 超過1000nit的峰值亮度與小於0.05nit的黑位範圍

2. 超過540nit的峰值亮度與小於0.0005nit的黑位範圍

2.5HDR的兩種曲線

2.5.1PQ曲線

PQ感知量化(ST2084),由杜比開創的HDR光電轉換方式,被應用於Dolby Vision(世界上第一個HDR標準),而Dolby Vision也是後來被廣泛使用的HDR10標準的前身(HDR10是Dolby Vision的簡化版)。下面我們先來看看PQ的「奧秘」(部分摘抄自ST2084(PQ EOTF)定義):

ST2084旨在能夠創建增加亮度範圍的視頻圖像,而不是增加整體的亮度。為了在具有不同亮度輸出的設備之間呈現一致性,視頻中的平均亮度水平即中檔曝光將產生一個適合於視頻或電影的預期亮度範圍。

基於PQ的HDR標準參考了正常漫反射白,並定義為100尼特,與SDR(標準動態範圍)顯示完全相同。PQ HDR中高於100尼特部分僅適用於高光細節。這表明PQ HDR顯示器的平均圖像水平(APL)與SDR顯示不會有明顯差異。

無論最大峰值亮度如何,顯示器產生的漫反射白始終為100尼特。

漫反白色的標稱尼特值也會隨著顯示器的峰值亮度而變化,1000nits的顯示器具有大約175nits的漫反射白色,以及4000nits對應的600nits(取決於系統的伽馬值,即系統的光線輝度曲線)。因此現實情況是,HDR能增加SDR顯示屏的現有亮度範圍,這意味著在圖像的較亮區域可以看到更多的細節。

以下直方圖是SDR(標準動態範圍)圖像與其PQ HDR等效物之間差異的簡化視圖。請注意,SDR(平均圖像級別)在SDR和PQ

HDR圖像之間保持大致一致,只有對比度範圍和高光級別增加了。(以上為理想狀下)

HDR(左)與SDR(右)模擬。注意整體APL是相似的

2.5.1.1PQ曲線的由來:Dolby Vision

2007年杜比實驗室收購了一家名叫BrightSide technologies的公司,並且製作了第一個HDR顯示屏的原型。從那時開始,杜比不斷投入對於這項技術,並在2014年CES上正式命名為Dolby Vision。

這項技術的核心是一項叫做「感知轉換」(Perceptual Quantizer )的電-光轉換功能(將電信號轉為可見光),由此催生並定義了更高的動態範圍。這項技術將亮度標準定義在 10,000 Nits(普通的電視亮度僅100-200nits左右)。但是,目前還沒有實用顯示設備能達到這一亮度,因此目前Dolby Vision的亮度目標是更實際的4,000nits。使用Dolby Vision錄製的內容還包括最高12-bit色深,Rec 2020色域以及4K解析度。

Dolby Vision是整套的專利解決方案,內容、播放源、顯示設備都必須是兼容Dolby Vision標準的才可以。並且,每個Dolby Vision顯示設備都帶有一塊專用晶元來檢測確認此設備的輸出能力(亮度,色彩空間等),播放時將這些數據傳輸給Dolby Vision的播放信號源。信號源將依據這些顯示設備數據來逐幀優化輸出,既兼顧到顯示設備能力,又保持了原始信號的表達意圖。

杜比作為當今影院技術發展的龍頭老大,不但在聲音技術上爐火純青,更推出了Dolby Cinema這一全方位提升影院音畫效果的完整解決方案。 Dolby Atmos(全景聲)負責聲音,Dolby Vision負責畫面。第一家Dolby Cinema影院於2014年12月18日在荷蘭埃因霍溫開業的JT Bioscopen影院。因此從時間上來說Dolby Vision是最早投入實用的HDR技術。

2.5.1.2PQ曲線的特點:絕對性的

將PQ稱為「絕對」標準意味著每個輸入數據電平都有絕對輸出亮度值,不存在變化,除非改變伽馬曲線(EOTF)。

下表顯示了1000 nits的PQ EOTF:

然而,使用基於HLG的「相對」HDR時,這就不是事兒了。因為HDR標準可以按照與傳統SDR電視完全相同的方式進行縮放,此外,還包括基於亮度的系統伽瑪變數,特別針對環境照明問題。

2.5.1.3PQ曲線的形狀(圖表)

2.5.2HLG曲線

雖然PQ曲線可以很好地實現HDR,但是終歸從SDR到HDR的轉變需要一個過程,不是所有電視台都能負擔得起SDR和HDR兩套光電轉換系統,BBC的首席技術專家Andrew Cotton提出了這樣的疑問:「They showed spectacular TV pictures…but it would have required a complicated encoding system to deliver to both standard dynamic range [today』s TVs] as well as HDR displays。 And it would have needed two separate color grades [for each version]。 We just couldn』t see how we could deliver that type of experience to our audiences。 TV is run on a shoestring budget and can』t afford two color grades.」(原話)

2.5.2.1HLG曲線的由來:BBC等等

為了解決上文提到的問題,BBC與NHK合作開發了另一項HDR技術HLG(Hybrid Log-Gamma),並認為這是針對電視廣播信號的最佳HDR技術。HLG就是為了簡化HDR的製作流程,它與PQ系統的不同之處在於,HLG可以在攝像機內直接完成HDR的編碼(省去了各電視台的轉換負擔);PQ則是通過後期顯示參考以及調色參考後完成編碼,更適合於電影的後期創作。

BBC的HLG HDR標準使用75%的信號(輸入)範圍作為標稱漫反射白,這是一個「變數」,因為HLG標準是「相對」標準,它所提供的動態範圍為1200%;而不是像PQ那樣「絕對」。

我們知道,SDR分級顯示器被校準為100尼特,之前提到,對於漫反射白,PQ和SDR的標準一致,那麼PQ HDR的觀看中經常被忽視的問題之一便是:因為標準是「絕對的」,所以無法增加顯示器的光輸出(來增加漫反射白的亮度),以克服周圍的房間光照水平。

所以如果在不太理想的觀看環境中(周圍房間亮度水平相對較高),HDR圖像的大部分將顯得非常暗,陰影細節變得很難看。為了更好的觀看基於PQ的「絕對」HDR圖像,環境光照水平必須非常嚴格的控制。為了支持這個說法,被指定為基於PQ的HDR觀看需要的平均環境光照水平是5尼特,而對於SDR,它被指定為顯示器的最大亮度的10%。

2.5.2.2HLG曲線的特點:相對性的

與基於PQ的HDR不同,BBC HLG HDR標準不是絕對標準;相反,它是相對的,EOTF伽馬曲線始終是全範圍,無論給定顯示器的實際峰值亮度值如何。另外,HLG標準還包括EOTF修改器,它會根據顯示器的環繞照明情況改變EOTF。

注意:BBC HLG標準不使用指定的參考白色(漫反射白),而是將其置於輸入信號的75%

BBC HLG標準設計專用於5000nits的顯示器,因此低於ST2084標準的10,000nits,但HDR峰值亮度水平實際上是足夠的。

2.5.3PQ和HLG的對比

PQ的觀看環境和「絕對」的,也就是說,在不同的觀看環境下,PQ曲線下的同意圖像可能會給觀眾帶來不同的視覺體驗。而HLG的觀看環境是「相對」的,即即使在不同的觀看環境下,HLG的圖像也能給用戶帶來較為接近的觀看體驗。

PQ的曲線數值是「絕對」的,也就是每個尼特值都對應了一個電平,而HLG的曲線數值是」相對「的,使用75%的信號(輸入)範圍作為標稱漫反射白也就使得尼特值和電平沒有絕對對應關係。

PQ的曲線是由Dolby Vision通過後期顯示參考以及調色參考後完成編碼,更適合於電影的後期創作,而HLG是在電視原有的Rec.709曲線上作延伸,適合於電視的製作,並且HLG對於SDR的兼容性要比PQ好得多。

與基於PQ的HDR不同,HLG的EOTF伽馬曲線始終是全範圍,無論給定顯示器的實際峰值亮度值如何。另外,HLG標準還包括EOTF修改器,它會根據顯示器的環境照明情況改變EOTF。

2.5.3.1PQ和HLG的元數據

基於PQ的HDR使用嵌入在信號內的元數據來提供關於分級顯示的參數信息。

PQ元數據有兩種形式——靜態和動態。

靜態和動態元數據都包括顯示RGB色度坐標的母帶,白點色度和最小/最大亮度;它還包括最大幀平均光級(MaxFALL),其定義最亮的幀;以及最大內容光級(MaxCLL),其定義最亮的像素。

靜態元數據在使用數據的所有時間內使用相同的值,而動態元數據會根據需要進行更改(可能會逐幀進行)。HDR10使用靜態元數據;而Dolby Vision和HDR10 +使用動態。

但是,為什麼我們需要元數據?原因只有一個:當HDR被引入時,沒有電視可以匹配主控/分級顯示器的峰值亮度和色域覆蓋率,特別是峰值亮度。由於基於PQ的HDR的「絕對性」與母帶顯示無關,所以它們的峰值亮度不一樣。為了試圖克服這個問題,便引入了元數據以允許HDR電視重新映射圖像內容。

Technicolor HDR Ecosystem workflow

2.5.4HDR的最低黑電平

以下聲明摘自杜比的「DOLBY VISION HOME」白皮書。

「目前的電視和藍游標准限制最高亮度為100尼特,最低亮度為0.117尼特...」

不幸的是,這是一個不準確的聲明,因為藍光格式對於最小或 最大亮度級別沒有這樣的限制,這些值可以由顯示器設置定義。最低電平(黑色電平)通常只是顯示屏可以達到的最小值,並且可以在OLED顯示屏上從非常暗 (例如0.0001nits)到更高級別(約0.03nits甚至更高);而家庭電視的最大亮度通常設置得遠高於克服周圍室內光線的水平,許多家庭電視設置為300nits或更高。

注意:「最低級別(黑色級別)通常只是顯示器可以達到的最小值」一詞是指通常OLED黑色可能太低,而且用戶經常選擇提升它以防止陰影細節丟失。

當 SDR藍光分級時,所使用的顯示器將在受控的分級環境(黑暗環境)內校準為80-120nits(100nits為常用平均值),黑色電平為 0.001-0.03nits,這取決於所使用的顯示器。如上所述,當藍光在家庭環境中觀看時,通常需要將電視設置為更亮的水平以克服周圍的室內光線水平。

2.5.5HDR的陰影

正如我們所看到的,HDR對於黑色層次沒有任何作用,陰影細節也是如此(無論一些營銷文案怎麼吹牛)。

包括在國內宣傳甚至YouTube上很多視頻宣稱「陰影細節的豐富」被表示為HDR相比SDR的優點,這是不正確的!HDR不會提供超過SDR的陰影細節。

由於在基於PQ的HDR上使用的EOTF曲線,與同一圖像的SDR標準相比,正常家庭觀看條件下的黑色通常會被「壓縮」。這是由被指定為優選得HDR照明級

別所產生的,為5nits;而對於SDR,其被指定為顯示器的最大層級的10%。這是一個巨大的差異:當處於環境光線水平極端的環境中,HDR黑/陰影通 常會被掩蓋。與基於PQ的HDR圖像相比,10位SDR圖像反倒具有更好的黑/陰影細節。

不同的觀看環境確實需要不同的顯示伽瑪,這是基於「絕對」PQ的HDR標準不能解決的

以下模擬SDR與PQ HDR的圖像比較:

SDR

3HDR在遊戲中的應用

3.1為什麼我們要在遊戲中使用HDR

所有的顯示器(除了HDR顯示器)的顯色範圍都是0-1,而現實中的顏色/光強範圍肯定沒這麼少,HDR也就是讓這個範圍超過1,一般是用16位浮點來儲存(也有用32位的,不過內存太大精度過高一般用不到),這樣就可以儲存更多數據,精度更高,效果自然更好。然而到這裡自然就會產生一個問題,現在顯卡輸出以及顯示器接受的格式還是0~1的8位格式,超過1的部分還是會被捨棄掉。但是使用HDR和不使用HDR在最終成像上還是會有很大的區別。

引用自維基百科部分:

例えば風景のダイナミックレンジ(最も明るい部分と最も暗い部分の明暗の比)は広く、しばしばコントラスト比100000:1を軽く超える。フィルムやCMOSイメージセンサなどの一般的な記録手段のダイナミックレンジは狹く、せいぜい15EV、すなわちコントラスト比32000:1程度しかない。また、一般的なモニタのコントラスト比も1000:1程度である。そのため、現実の風景などの持つ広いダイナミックレンジをそのまま記録、表示することができない場合がある。

翻譯如下:

例如風景的動態範圍(最亮部分和最暗部分的明暗比)是十分大的,可以輕易超越10W:1,膠片或者CMOS感測器或者別的一般的記錄手段的動態範圍十分狹小,最多能到15EV,最大亮暗比3.2W:1,而一般的顯示器能顯示的亮暗比大概在1000:1,所以說在現實中也會有很多無法記錄所有亮暗信息的時候。

而在遊戲中,雖然製作過程可以讓光照和顏色信息輕鬆過1,但是由於最終的顯示器是普通家用顯示器,只能還原到0-1之間的信息,所以高於1的部分還是會被捨棄,這時候遊戲美工最常見的做法就是把光照亮度調小:

這張遊戲畫面的場景很明顯的是夕陽環境,然而仔細觀察不難發現,畫面最亮的地方是天空中的落日場景,但是如果直接還原太陽的亮度,那麼場景中至少太陽和雲層的所有部分都應該是過曝的,場景中的人也應該因為受到太陽直射而部分過曝,而畫面右側的天空也不應該維持在這樣一個亮度。

這樣做雖然保證了所有的遊戲畫面亮度都能在0-1,但是對於場景真實性的還原來說無疑是失敗的。

兩張圖對比,一張是很明顯的帶月亮的夜晚晴空,一張是夕陽西下的日落場景。兩者的亮度相差極大是不證自明的,而在遊戲中,兩者的亮度給人的感覺確實是一樣的。產生了矛盾,也就會給用戶帶來不真實的體驗。

這時候在遊戲中最常見的方法是在前期製作過程中保留亮度數據,在最後輸出到顯示器的時候做bloom處理,bloom是用來模仿人眼看超亮的東西產生的一種光向外溢出的效果。大概類似於眩光。

這張圖是在使用了bloom之後得出的HDR場景,很明顯地在雲層,背景的塔以及人物的處理上都相對於前者較好地還原了現實光比。作為太陽的雲層一定是超亮的,背景中的塔的受光面的高光材質反射到屏幕也應該是超亮的,而人物的衣服作為白色的布料材質在陽光照射下也應該是超亮的,當然首先,這裡的超亮都是相對於相機而非人眼的,其次這個超亮並不是指大於1就一定是超亮,但是和HDR結合的話,用1作為閾值效果還不錯,所以就這麼用了,當然也可以設為其它值,比如設成0,那麼就是全屏高斯模糊(一般Bloom的實現方式)了。為了只讓超亮的東西Bloom,HDR是有必要的,不然沒有大於1的值,就只能設置一個0-1之間的數,如果這麼做的話在實際上做Bloom處理的地方有很多,這樣會顯得圖像很模糊,並且使得畫面不真實。

有的人可能會說我不用Bloom,或者說我就自己調一個閾值,效果其實還不錯,那HDR是否是可以丟棄的。但是HDR的作用並不只是配合Bloom使用,它更基本的作用是讓渲染更加正確,更加真實,具體來說:在LDR(即非高動態範圍)中,因為範圍是0~1,那麼最後計算結果如果超過1的話(光照方程沒有限制結果必須小於1)那麼就會被切割成1,啥細節都沒了,也就是說超亮的光照不能有。下圖就是被切割的畫面,細節啥都看不清。

3.1不當顏色的解決:Tone Mapping

解決這種問題的方法一是HDR而是降低光照亮度,這樣又會回到前文提到的渲染不真實的問題。更重要的是,所有的材質都是按照實際的物理來製作的,但是光源卻不是現實的光源亮度,這樣出來的結果肯定是「虛假的」或者說「不被接受的」。正確的方式當然是可以大於1才行,這樣的話亮的東西能夠特別亮,暗的也能特別暗,然後細節還都能看得到。

3.1.1什麼是Tone Mapping

tone Mapping原是攝影學中的一個術語,因為列印相片所能表現的亮度範圍不足以表現現實世界中的亮度域,而如果簡單的將真實世界的整個亮度域線性壓縮到照片所能表現的亮度域內,則會在明暗兩端同時丟失很多細節,這顯然不是所希望的效果,Tone Mapping就是為了克服這一情況而存在的,既然相片所能呈現的亮度域有限則我們可以根據所拍攝場景內的整體亮度通過光圈與曝光時間的長短來控制一個合適的亮度域,這樣既保證細節不丟失,也可以不使照片失真。人的眼睛也是相同的原理,這就是為什麼當我們從一個明亮的環境突然到一個黑暗的環境時,可以從什麼都看不見到慢慢可以適應周圍的亮度,所不同的是人眼是通過瞳孔來調節亮度域的。

而這個問題同樣存在在計算機圖形上,為了讓圖像更真實的顯示在顯示器上,同樣需要Tone Mapping來輔助。

3.1.2Tone Mapping實例

Tone Mapping的演算法有很多種,在這裡只舉出一種:

上圖為最終效果圖

具體演算法如下

首先我們需要做的是計算出整個場景的平均亮度,有很多種計算平均亮度的方法,目前常用的的是使用log-average亮度來作為場景的平均亮度,通過下面的公式可以計算得到:

其中Lw(x,y)是像素點x,y的亮度,N是場景內的像素數,δ是一個很小的數用來應對像素點純黑的情況。

縮放後的光亮度:

α 是一個縮放參數,被稱為Key Value,不同的 α 值對應了不同的縮放程度:

簡單線性縮放是不能滿足使用需求的,對於大多數圖片,絕大部分像素光亮度是在某一個相對不太大的範圍之內,而少數高亮像素的亮度卻比平均值高太多,很容易產生過曝,如:光源、高光反射等。這個時候我們就要用到下圖的非線性公式

Ld(x,y)表示經過非線性運算元處理後的像素,Lwhite表示圖片中被映射到白色亮度的像素中的最小值。由於是非線性的,對於亮度高的像素縮放更大,因此該公式能夠防止線性縮放中無法處理的過曝情況。

在傳統列印技術中,為了提高列印結果的質量,通常會採用一種dodging-and-burning的方法。該方法的原理是根據列印內容的不同,在不同區域減少光亮度(dodging)或者增加光亮度(burning)。

上圖中太陽被樹枝遮擋住,因此不包含高亮的區域,下面的圖片則包含高光反射。左邊一列圖片同樣是採用簡單非線性運算元(Simple Operator)縮放,經過觀察可以發現,下圖中的書中文字完全被高光覆蓋。由此可見,簡單的非線性運算元縮放會丟失很多細節。所以我們還需要對演算法進行進一步優化,這就是自適應dodging-and-burning。

自適應dodging-and-burning的特點是,找出對比度大的邊緣包圍的區域,然後對該區域進行處理。因此可以利用高斯核卷積的方法來找出這些區域。

對於不同的縮放係數 s,在不同的像素點(x,y),計算高斯核函數 Ri(x,y,s)與圖像 L(x,y)的卷積。則卷積結果 Vi(x,y,s)可表示為:

其中,Ri(x,y,s)可表示為:

接下來,定義一個誤差函數,計算不同 αi 參數的卷積結果之差,來衡量圖像局部像素的光亮度分布。則誤差函數 V 可以表示為:

通過對不同的縮放參數 s 進行計算,找出符合如下公式的參數

其中,? 是一個閾值,sm 是對每個像素計算出的縮放參數。當我們獲得每一個像素的縮放參數後,對每一個像素進行不同的縮放計算:

從而獲得最終的Tone Mapping結果

其中,左圖顯示了計算縮放參數的過程,Center表示內圈高斯計算的範圍,Surround表示外圈高斯計算的範圍。右圖顯示了用不同縮放參數進行縮放後的結果。通過觀察可以發下,當縮放太小時無法有效地提取出圖像細節,而縮放太大時會出現黑邊。


推薦閱讀:

影視製作:那些震撼的廣告大片,居然是這樣拍出來的
拍電影如何正確的打場記板?
電影製作
世界上最可怕的事情:聰明人都在下笨功夫
專訪《幕後玩家》製片人張超:不會喝酒不會聊天,只專註做好內容

TAG:HDR | 影視後期 | 電影製作 |