相機圖像質量之雜訊和視覺雜訊

注意左邊的圖片看起來比右邊的圖片更平滑。高幅度的噪音可以壓倒織物或樹葉等精細紋理，並且在不過度柔化圖像的情況下更難以去除。

增加ISO感光度始終會為給定的相機產生更高的噪點，但相機之間的噪點變化會更複雜。相機感測器中像素的面積越大，它將具有更多的光收集能力，從而產生更強的信號。結果，具有物理上較大像素的相機通常看起來雜訊較小，因為信號相對於雜訊較大。這就是為什麼在相同尺寸的相機感測器中裝有更多百萬像素的相機不一定會產生更好看的圖像。另一方面，較強的信號不一定會導致較低的雜訊，因為信號和雜訊的相對量決定了圖像的嘈雜程度。

對於JPG圖像來說，通常雜訊的來源有兩類，來自圖像感測器和圖像後處理模塊。

圖像後處理模塊中，最典型的是數字視頻壓縮，這可以引入類似於上面針對圖像壓縮所描述的偽像，以及特定於視頻的偽像。視頻壓縮通常分別對圖像的每個空間塊進行操作。在視頻比特率太低而不能有效地編碼視頻內容的情況下，由於在每個塊內的高空間頻率處丟棄信息，可能引入模糊。此外，塊結構在壓縮視頻中變得明顯，從而產生塊效應。這些模糊和阻塞偽像與數字圖像壓縮中可能出現的類似，但在視頻中更常見且更嚴重。視頻中這些偽像的更高頻率和嚴重性是由於視頻壓縮中相對於靜止圖像壓縮所需的壓縮比更高。這些偽像的嚴重性在視頻中也增加，因為它們通常出現在圖像空間內的空間固定網格上。因此，當視頻中的元素移動時，塊效應的位置保持固定，因此它們相對於場景內容的位置連續變化，從而增加了它們的可見性。

在以低比特率壓縮包含運動的視頻內容的情況下，場景中的移動元素可以留下運動軌跡，其中每個幀顯示對象以及對象的副本，複製其在前一幀中的位置。這種效應被稱為重像，因為對象的副本通常是去飽和的。「鬼影」還用於描述可出現在數字電視中的類似偽像，其中隔行掃描視頻被錯誤地轉換為逐行掃描。模擬電視傳輸也可能出現重像，通常是由於幅度調製信號的多徑失真。然而，在模擬電視的情況下，重像出現作為整個圖像的空間偏移副本，而不是僅影響移動元素。

圖像的頻域數字壓縮還可導致銳邊附近的強度振蕩，稱為振鈴。在視頻中，這些振蕩在幀與幀之間變化，因此邊緣周圍的區域閃爍，在視頻的過程中出現小的亮點並消失。 這種效應暗示了蚊子在邊緣周圍蜂擁而來，因此被稱為蚊子噪音。

對於視頻來說，視頻的每個幀將呈現空間雜訊，並且大部分雜訊是隨機的，因此將逐幀地變化。 這導致每個像素位置中的顏色或強度值的時間雜訊 - 隨機變化。 在低光照下拍攝的視頻的較暗區域中，這種雜訊最明顯。 時間雜訊難以壓縮，因此具有高水平時間雜訊的區域易於產生阻塞偽像。

圖像感測器中的雜訊可分為兩大類：時間和固定模式雜訊（FPN）。時間雜訊隨時間變化，而固定模式雜訊在圖像幀之間不變。雖然無法區分靜止圖像中的兩種類型，但它們在視頻序列中將表現出明顯不同的行為。特別是，過多的FPN會使視頻看起來像通過面紗或臟窗口觀看。

雜訊也可以被分類為結構化或隨機分布。這兩種類型都可以是暫時的或固定的。結構化雜訊通常表現為列雜訊或行雜訊。

可以根據信號相關或信號無關雜訊進行最終分類。信號相關雜訊會隨著信號的增加而增加，而信號獨立雜訊將在所有信號電平上保持不變。

CCD或CMOS感測器中通常遇到的雜訊類型：光子散粒雜訊，

光子散粒雜訊是由於入射光在像素中產生的電子是離散事件，其統計遵循泊松分布。對於例如每秒100個的平均電子量，各個像素將接收每秒約70和130個電子之間的任何值。 因此，具有在圖像感測器區域上均勻分布的一些平均強度的光將不會產生均勻的圖像，而是像素值將圍繞某個平均值波動，其中波動的幅度由標準偏差確定。因此，標準偏差是雜訊幅度的直接量度。

光信號本身將在感測器圖像中產生雜訊，其將隨著平均像素信號的平方根而增加。 這似乎違反直覺，因為隨著信號的增加，雜訊通常被認為會降低。然而，圖像中感知的雜訊與SNR有關，即，平均信號值與雜訊的比率。

可以看到，信噪比將隨著光強度（即平均光子數）的增加而增加，並且增加等於平均光子計數的平方根。

暗電流散粒雜訊源自像素的暗電流的波動。由於像素中的熱誘導電子流（熱電子發射）而產生暗電流。由於累積電荷量與時間成比例，因此在像素中會產生暗信號。由於電子的離散性質，暗信號在每個像素中都不會相同，但會遵循泊松分布，就像光子發射雜訊一樣。因此，暗電流散粒雜訊等於暗電流的平方根，因此將隨著像素的積分時間而增長。由於暗電流是熱現象，因此它與溫度有很大關係。通常認為暗電流每6攝氏度加倍，但這個數字在不同感測器之間可能有很大不同，因此應該將其視為一個經驗法則而非精確數字。

暗電流產生在像素之間可能不同，並且這將顯示為通常被稱為暗信號不均勻性（DSNU）的固定模式雜訊。對於CMOS感測器而言，無論是在像素級還是列級，其他元件的差異也可能導致不均勻性。這些可能是隨機的或結構化的，取決於它們的起源是在像素本身還是在感測器的列電路中。如果源自列電路，則結果將在圖像中顯示為垂直條紋。

行雜訊可能由例如電力線的波動引起。如果在讀出期間列放大器或甚至CMOS感測器的ADC受到這些波動的干擾，則整行中的信號可能同時受到影響，從而產生表現為水平條紋的雜訊。

像素之間的光靈敏度的變化將產生通常稱為光響應不均勻性（PRNU）的固定模式雜訊。這種類型的雜訊可以被視為像素之間「增益」的隨機變化，因此在幅度上與信號成比例。 PRNU可能出現在CCD以及CMOS感測器中。

除了上面列出的雜訊源，感測器中的電子電路也會產生其他類型的雜訊。我們將這些雜訊類型稱為電路雜訊或讀取雜訊。此類雜訊類型的示例包括1 / f（閃爍）雜訊，相位雜訊，約翰遜雜訊等。對於這個討論，將所有這些不同的雜訊源放在一個廣泛的類別中就足夠了。

雜訊的最終來源是模數轉換。連續信號的數字化將引入誤差，因為採樣值接近整數值。引入的誤差稱為量化雜訊，取決於ADC中的位數。可以證明量化雜訊電壓由給出。

，其中VLSB是對應於一個數字代碼值或一個最低有效位（LSB）的變化的電壓階躍。這也意味著在數字域中，量化雜訊的均方根值等於1 / 12LSB。

SNR已經用來描述雜訊的一種非常常見的方法，要測量成像設備的信噪比，可以遵循ISO 15739標準。SNR越高，我們在圖像中發現的噪音就越少，其與雜訊方面的圖像質量更好地相關。我們通過將測量的雜訊繪製為圖中信號的函數來分離在信號依賴性方面不同的那些雜訊源。下圖顯示了SNR作為信號電平的函數圖。上面確定的三個區域現在將顯示不同的外觀，其中SNR與最低區域中的信號成比例，其後是與信號的平方根成比例的區域（光子散粒雜訊受限），並最終達到信號獨立SNR的平台（PRNU限制）。

但是很多時候，SNR並沒有很好地反應出觀察者在圖像中實際看到了雜訊。

使用圖像中均勻區域的標準偏差作為雜訊的度量，我們可以通過將區域的平均值除以標準偏差來計算信噪比（SNR）。

然而，對於下圖中包含亮度雜訊的三個圖像（右下是彩色雜訊），我們發現SNR是相同的。這顯然與在這些圖像中如何感知雜訊不對應，具有白色亮度雜訊的左上圖像似乎具有最小量的雜訊，而1 / f和列雜訊具有非常明顯的結構。因此，僅涉及標準偏差的簡單的雜訊度量顯然是不夠的。

更加直觀的，下面圖像分別被放大1倍，2倍和4倍

想像這些圖像應該是均勻的，但是會顯示一些噪音。 如果你遠離屏幕，你可以看到所有三個圖像具有相同的平均值並且看起來均勻。

如果您靠近屏幕，很明顯您可以在圖像4x中看到比圖像1x更多的「噪點」。

如果我們測量SNR，我們可以看到所有圖像具有相同的平均值，在所有像素值上具有相同的標準偏差，因此具有相同的信噪比。

該樣本顯示SNR僅反映總雜訊量，但沒有描述人類觀察者實際感知雜訊的方式。

因此，要描述人類觀察者在圖像中實際看到多少雜訊，並且如果這是令人不安的，我們不使用SNR。 相反，我們使用稱為視覺雜訊的測量。

測量視覺雜訊的演算法和程序在ISO 15739中進行了描述，並且隨著2013標準的修訂，該演算法和程序從信息附件轉換為標準的規範部分。

可視雜訊值易於理解：值越高，觀察者將看到的雜訊越多。 SNR和VN之間的主要區別在於，VN將根據可見性對雜訊進行加權。 無論如何都看不到的噪音，噪音測量不會被考慮在內。

我們如何知道觀察者可以看到哪些噪音，哪些不是？可以模擬人類視覺系統對空間頻率的響應。視覺雜訊度量是解決這個問題的方法，因為它考慮了人類視覺系統的觀察條件和「對比敏感度函數」（CSF）。對比靈敏度函數（CSF）與觀察條件的假設一起使我們能夠計算雜訊頻譜的不同部分的重要性。

眼睛解析細節的能力被稱為「視敏度」。正常人眼可以區分交替的黑線和白線的圖案，其特徵尺寸小至弧的一分鐘（1/60度或π/（60 * 180）= 0.000291弧度）。一些特殊的眼睛可能能夠區分這個尺寸的一半。但對於我們大多數人來說，更高空間頻率的模式將顯得幾乎是純灰色。最大空間頻率下的低對比度圖案也將呈現灰色。在距眼睛的距離d處（其標稱焦距為16.5mm），這對應於長度=（弧度角）* d = 0.000291 * d的物體。例如，對於在25厘米（約10英寸）距離處觀看的物體，可能用於仔細檢查8 x 10英寸照片列印的距離，這將對應於0.0727毫米= 0.0029英寸。由於線對對應於該尺寸的兩條線，因此相應的空間頻率為6.88lp / mm或175lp / inch。

亮度和色度對細節的敏感性表現在HVS的對比敏感度函數（CSF）中。下圖顯示了一組典型的此類函數（Johnson和Fairchild，2003）。應該注意的是，這些曲線可以根據廣泛的參數選擇而顯著變化，這取決於例如年齡和對光的適應性，空間頻率，對比度等（Barten，1999; Fairchild，2013; Johnson，2003; Fujii等，2013; Wandell，1995）。

從圖中可以看出，亮度CSF的行為類似於帶通濾波器，其靈敏度峰值約為每度4個周期。另一方面，兩個色度通道顯示出低通行為，並且衰減的空間頻率通常比亮度通道大得多。這證實了細節信息主要在亮度通道中攜帶的事實。

從上面的例子來看：圖像1x在高空間頻率上將具有大部分「雜訊」，這在CSF中具有較低的響應。圖像4x在較低的空間頻率中具有大部分「雜訊」，根據CSF可以很好地觀察到。因此，Image 4x的VN值比1x高得多。

視覺雜訊及其測量在ISO 15739：2003標準中有所描述，並從ISO15739：2013修訂版的規範性部分的信息性附錄更改。簡言之，它的工作方式如下。首先，照相機捕獲包含不同反射率的均勻測試斑塊的測試圖的圖像。僅包含色塊數據的結果圖像的作物被提取，並且RGB值通過XYZ空間轉換為相對色彩表示。在這個對手空間中，使用CSF對亮度和色度通道進行濾波。之後將圖像數據轉換回XYZ，然後轉換到CIELUV空間，其中計算亮度和色度通道的差異。然後將這些值加權在一起以獲得ISO視覺雜訊度量（ISO，2013）。

在由Baxter和Murray（2012）提出並在CPIQ（IEEE，2017）中實施的雜訊測量中，該方法基於ISO方法，但是為了改變最終的視覺雜訊而進行了一些修改和附加步驟值轉換成圖像質量的JND。和ISO方法不同的是：在CSF的選擇中，然後通過包括如前所述的用顯示器/列印MTF進行濾波，並且還通過使用高通濾波器來消除由於陰影；選擇了CIELAB空間而不是CIELUV，實現L *，u *和??*通道標準偏差的加權和；使用與邊緣和紋理銳度指標類似的方法，在中間步驟中計算質量客觀度量，然後轉換為JND值。詳細的實現步驟如下圖所示：

我們可以使用imatest和IQ-Analyzer來測量視覺雜訊，推薦的測試圖卡是TE264

在選項中，允許選擇最多三個視點（基於距離和圖像高度查看位置，均以cm為單位）。

為了獲得視覺雜訊結果，需要第一視點的觀看距離和以cm為單位的圖像高度。 視角根據距離和高度計算。

如果輸入了這些數字，可以選擇第二個視點，並指定第二個觀看距離和圖片高度。 如果輸入了第二個視點，您可以選擇第三個視點，其距離和圖像高度恰好在第一個和第二個視點之間的中間位置。

IQ-Analyzer中測量視覺雜訊結果如下：

不同的顏色反映了不同觀看條件下的視覺雜訊。青色是測量的視覺雜訊，在0.5米距離的屏幕上可以100％地觀看，品紅色描述了在標準觀看距離內的小（10厘米高）列印的雜訊感知。

對於相機圖像中的降噪處理，主要分為兩部分。在相機設計階段，主要的硬體相關的雜訊及其改善如下（來自Junichi Nakamura數碼相機中的圖像感測器）：

而對於ISP中或者利用軟體實現數字域中的降噪，通常利用設計各種數字濾波器來實現。處理RAW格式的問題，可以用Photoshop等後處理軟體，能夠很好的實現雜訊去除和保留細節之間的平衡。

推薦閱讀：