高動態範圍成像的理論基礎（一）

來自專欄 All in Camera6 人贊了文章

本文系微信公眾號《大話成像》，知乎專欄《all in camera》原創文章

大話成像讀者QQ交流群 ：237427716 大話計算機視覺QQ交流群：651805282

本站教學視頻大話成像之《數字成像系統》32講已上線淘寶，搜索關鍵字『大話成像』即可找到，或使用鏈接

PC用戶： https://item.taobao.com/item.htm?id=568925736204：

手機用戶可使用鏈接： 複製這條信息￥adMo0tqbc2N￥後打開手淘

請購買了視頻的讀者加入QQ群：679050565，群名稱：數字成像系統課程，驗證消息請輸入購買課程時候的個人ID。

用普通相機照相/錄像的人估計會有這樣的經驗，以下幾種情況是非常難拍的

1. 拍攝自發光的物體，比如太陽，很亮的燈泡，反射光的鏡子。
2. 把相機從室內忽然對準室外。（相機會有一段時間完全飽和掉）
3. 取景的一角是窗戶或者是個很亮光源，其他的地方有很多對比度接近的物體。

人眼是可以清楚地看到這些場景下的物體的，可是用普通相機就很難忠實記錄這些場景，這時候就需要HDR成像技術來處理。

與普通成像技術相比，高動態範圍成像能夠呈現出更大範圍的色彩和亮度等級，這種更好的『像素』可以很大提高圖像的整體視覺體驗，所以，HDR是當前ISP發展的一個核心技術。

如下圖所示，普通成像技術記錄的只是粉紅色的色彩空間的部分，而HDR成像技術則記錄的是整個視覺的色彩空間（灰色的部分）。HDR成像與普通成像的區別是：HDR成像系統始終以高精度記錄數據，而且與顯示設備無關。只有在顯示階段，圖像的色彩空間才因為顯示的局限被壓縮了。而普通成像則在圖像採集，處理和存儲階段就已經壓縮了色彩空間。

HDR成像包括了幾門技術：

1. HDR圖像的採集，比如在之前我們介紹過的HDR sensor；
2. HDR圖像的編碼和壓縮；
3. tone mapping技術（HDR 圖像在普通顯示器上顯示需要的處理）；
4. 反tone mapping技術；（已經處理了的HDR 圖像在HDR顯示器上顯示需要的處理）
5. HDR顯示技術；
6. HDR圖像質量的評價標準；

動態範圍的不同表示方法：

在不同的應用中，動態範圍有不同的表示方法。

Contrast_Ratio CR = (Y_peak / Y_black) : 1 比如 500 ：1 //應用在顯示器上

Log_Exposure_Range D = Log10(Y_peak) - Log10(Y_black) 比如 2.4 orders //HDR 成像

L = Log2(Y_peak) - Log2(Y_black) 比如 2.4 stops //攝影

Peak SNR PSNR = 20 Log10(Y_peak/Y_black) 比如 53 dB //照相機

測量動態範圍

測量動態範圍沒有標準的方法，所以測量結果經常有不同。顯示器廠商就是用計量設備把顯示器的white level 和black level分別測出來，然後計算動態範圍。實際上沒有什麼圖像需要這樣的動態範圍去顯示。圖像里往往是有很少的非常亮的和非常暗的像素，所以動態範圍的測量一般是把圖像先做low pass filter，再去測量，這樣計算的結果比較可靠，因為經過低通濾波後的圖像把最小亮度的像素求了平均會更好的估計出noise floor，而且平滑了特別亮的單點，這樣測量的結果才比較穩定。

感知動態範圍：

人眼感知的動態範圍是個比較有爭議的話題。當光線散射到人眼表面，人眼可以有效地把最大亮度對比度減小到2-3個log10 單位。人眼可以被看做一個非常靈敏的sensor，它可以迅速地改變注視點並且針對局部進行適應，所以人可以感知大於4個log10單位的動態範圍。這種感知能力是與場景相關的，所以不能說一個絕對的數字來評價人眼的動態範圍。不過，有寫研究證明，人能感知並且喜歡對比度高於1000：1的圖像，這種人喜歡的圖像的峰值亮度很高，像OLED顯示器，它雖然動態範圍很大，但是它的峰值亮度不高，它所呈現的內容大多在低亮度的範圍，而這個範圍人眼對色彩是不那麼敏感的。所以這種顯示器並不是最理想的。

顯示模型和gamma 校正

大部分LDR圖像格式用gamma校正把luminance或者RGB 強度變成整數，然後後邊就可以進行編碼。

Intensity = signal γ 或是 signal = intensity 1/γ

γ在1.8到2.8之間。

gamma函數可以在顯示技術中被用作一個被稱為GDG的簡化模型，用來描述LDR像素值與顯示器的像素放射亮度的關係。

L =(Lpeak - Lblack) V γ + L black + Lrefl

V 是LDR luma， L 是luminance ，Lpeak 是顯示器在全黑環境的peak luminance，L black 是black level， Lrefl是光源在光源在顯示器表面的反射光 luminance，γ就是這個顯示器的γ，一般顯示器都設為2.2,電視上則要比2.2大一些。

這是顯示器光度學色度學校準的一個基本模型，在工業界目前普遍的被應用。

sRGB 色彩空間的局限

sRGB 色彩空間是工業界廣泛使用的色彩空間，它表示了LDR像素值與顯示值之間的關係。但是sRGB色彩空間沒有blacklevel的概念，數字0，實際在顯示中是無法實現的，因為顯示器不可能一點光都不發射。從這個意義上說，sRGB色彩空間對低像素值是不準確的，這對與HDR顯示來說更為重要，0.01到0.001cd/m2的差別也是可察覺的。在sRGB上如果數值是0，那麼LDR顯示器就把它顯示為儘可能的黑，但是在LDR顯示器上，這也許就會出現一層層的黑圈圈瑕疵，只有HDR顯示器才能解決這個問題。

為什麼要把信號變換到log 域進行處理？

很多hdr圖像處理的演算法，都是在log 域進行計算的，而不是在線性域進行計算。最簡單的變換方法就是對原始像素值取log。把像素值變換到log域是因為人眼的感光系統做了類似的處理。log函數可以描述這種基於相對對比度變化的感光處理。

什麼是tone mapping

Tone mapping 就是把高對比度大色域的圖像處理成為適合普通動態範圍顯示的技術。典型的處理包括把HDR 圖像根據場景的光強轉換成適合顯示的像素值。

Tone mapping 的目的

1. 視覺系統模擬（vss）-----比如模擬人眼的缺陷，在暗的場景限制色彩和對比度。還有適配真實場景域觀測結果的不同，包括chromatic
   adaptation.
2. 場景重現(SRP)-----------嘗試在LDR顯示中保持原景中的樣子，包括對比度銳度和色彩。
3. 最佳視覺感受（BSQ)------比如photoshop對圖像的操作，可以調整參數讓圖像達到主觀喜歡的樣子。

Tone mapping 代數

總得來說，tone mapping 運算是個數學函數，它把HDR場景的luminance轉變成在顯示器上可顯示的luminance。基本的tone mapping 函數可以記作：

Lp『 = T（Lp），L是HDR pixel的luminance，p是像素序號，L』是顯示值。

L『是要根據顯示模型轉成稱為LDR pixel value，這個步驟經常被泛稱為Gamma 校正，這種叫法比較讓人混亂，它的本質就是把景物的亮度值轉換為實際顯示亮度值。

乘法造成的亮度變化：

在luminance值上的乘法操作會改變圖像的亮度，但是它不會影響動態範圍或者圖像對比度。

T（Lp）=B*Lp，

這個乘法操作會增加會減小圖像的亮度B倍。這個操作類似改變圖像的曝光，所以也被叫做曝光調整。在log 域上來看，對上式取對數，乘法就變成了加法：

t（lp） = lp +b，b = log10（B），lp = log10（Lp）；

對一幅HDR圖像乘以B，再映射到一個顯示模型上去，可以得到下邊的三幅圖像，

分別對於B=0.5，B=1，B=2

下邊這張圖就可以看到，乘法沒有改變對比度或動態範圍。

乘方操作造成的對比度變化

乘法操作可以用來改變圖像的動態範圍。動態範圍有時候也用來表述對比度：減小動態範圍，圖像的整體對比度也會被減小。

T（Lp）=（Lp/L_white)c,

C 被稱為對比度控制係數。

這種變化與L_white，場景中的最亮點有相關，可以朝著白點，或者遠離白點的方向壓縮或者擴展。gamma運算就是最典型的一種，把前邊的C換成γ，就是顯示器上的gamma校正。

在log 域：

t（lp） = c（lp - l_white), 小寫表示取了log後的數值；

按照前邊顯示模型所提到的，還要做加法運算，給圖像加一個常數。

T（Lp）= Lp + F，

加上blacklevel，再經過乘方操作後，對圖像亮的部分影響有限，但是對暗的部分卻有很大改變。如下圖所示：

可以看出，加法運算加入了black

很明顯，經過乘方運算，場景的動態範圍得以更大的展示在顯示器上。而乘法運算則沒有這樣的能力。這也就是動態範圍壓縮DRC的基本原理。

幾種主要的tone mapping 方法

有關tone mapping的論文非常多，隨便在google 論文里搜一下就有幾百篇文章題目里包含tone mapping。有人整理了一下這些論文，總結出來以下四種主要方法，在下一篇我們將繼續介紹。

歡迎大家關注我們的公眾號大話成像和大話計算機視覺，並加入我們的兩個QQ交流群交流一些工作學習中的問題 。

推薦閱讀：