熊叔隨筆 聊一聊AIS手持超級夜景

來自專欄榮耀不知道專欄39 人贊了文章

昨天明哥在榮耀10 GT溝通會上提到，榮耀10將全面升級GPU Turbo，AIS手持超級夜景、超級省電功能以及8GB的大內存。GPU Turbo技術大家已經了解很多了，這次我們就來聊聊AIS手持超級夜景。

手持超級夜景功能並非首次應用，之前在華為P20系列上就已經採用，而作為華為旗下的互聯網品牌，我們把手持超級夜景功能應用到榮耀10上，為用戶夜晚拍照提供了更好的技術支持。

為了防止本文寫成一篇攝影科普文，舉一個簡單的例子。把相機比作一間屋子，房間內有一張紙收集光量，光圈好比房間的窗戶。在白天光線充足的環境下，需要1/50秒甚至1/100秒的曝光時間就能獲得足夠的進光量。在晚上或者弱光環境下可能需要2秒甚至更長。增加曝光時間是手機廠商最常用的解決方案。ISO、噪點這裡先不談。

兩秒以上的曝光時間對於手持拍照幾乎是災難性的，喜愛攝影的用戶已經形成共識，夜晚拍照必備三腳架，但是更多的用戶不習慣帶三腳架。榮耀10新增的AIS手持超級夜景就完美的解決了這個矛盾。

AIS手持超級夜景的原理

手持超級夜景利用了化整為零的方式，將連續的長曝光切分成數十個較短的中等曝光，每一個曝光既滿足成像的要求，又避免了模糊。這些離散的圖像有的曝光相同，有的曝光不同，較短曝光保證了高光不過曝，而較長曝光恢復暗部細節。

最終，多幀曝光圖像通過AIS防抖演算法計算合成，既提升了圖像的亮度和動態範圍，又保證了雜訊少，細節清晰。

榮耀10AIS手持夜景拍攝對比

很多人會納悶，這不就是HDR嗎？是的，我們利用了HDR的原理，但是不僅僅是HDR。傳統的HDR演算法不同幀之間的曝光差異較小、幀數少，在白天能夠獲取較好的HDR效果。但是一到晚上，往往存在雜訊大、圖像模糊、對比度低等問題。而手持超級夜景在做HDR的同時還做了多幀疊加用於降噪和亮度提升，並且在各個模塊都進行了很多智能計算。

具體而言，整個拍攝過程分為如下幾個階段：

1. AI手持檢測

手持超級夜景的關鍵是檢測用戶手持拍攝，在用戶點擊快門的瞬間，kirin970

為了實現這個準確和高效的檢測結果，我們採集了覆蓋不同的用戶、不同材質的三腳架總量上萬條數據進行學習分析，並設計了機器學習分類邏輯，通過真實數據來擬合對應參數，最終在kirin970晶元上實現0.2s的快速準確檢測。實驗數據顯示檢測準確率超過98%。

通過手持檢測，在保證用戶日常隨手拍的同時，也提供了一些專業用戶對三腳架拍攝的可選操作方式。可以在三腳架拍攝高達數十秒的長曝光。

一次典型的手持抖動曲線數據

2. AI測光

前面已經提到過，手持超級夜景是通過多幀曝光合成而來。那麼這麼多幀如何設置他們的曝光呢？我們的眼睛是一個超級強大的自動測光系統，當光線強的時候收緊瞳孔，減少進光量，當夜幕降臨時，我們則擴張瞳孔，讓更多的光線進來。手機相機的光圈是固定，無法像人眼一樣收縮自如，要想提高進光量，則需要加長曝光時間。

為此我們設計了一套全自動的AI測光系統，他就是我們手機的智慧大腦的視覺皮層，控制鏡頭睛讀取這個世界。在用戶點擊快門後，AI測光系統首先根據AI場景識別信息、預覽圖像的亮度、光源的分布以及抖動情況進行自動配置曝光參數和出幀幀數。

當環境較亮時，曝光更短，幀數較少；當環境較暗時，幀數更多，曝光更長。當抖動較小時，曝光更長，反之當抖動較大時曝光較短。曝光設置就像大廚調味，根據菜品風味和數量撒了一些鹽，但是合不合味還需要嘗嘗。我們的測光系統也是如此，計算最終的曝光後還會進行實際的曝光驗證，當實際曝光亮度符合我們的需求時我們就結束曝光，否則繼續「回鍋」調整曝光直到曝光滿足要求。

3. AI防抖處理

獲取圖像之後，則需要對圖像進行合成。因為曝光時間較長，在這個過程中多多少少有的圖像會模糊，因此合成前，我們會根據圖像清晰度信息進行輸入幀的選擇，如果圖像模糊不清晰，那麼將被丟棄不參與融合。

在參與融合的圖像中，我們選取最為清晰的圖像作為標準圖像，然後將其他圖像與之進行AI自動圖像對齊，這裡主要體現在利用kirin970晶元的強大AI算力，保證合成後依然清晰。

很多小夥伴不明白，為什麼圖像對齊這麼困難。首先，以一張1200萬像素的照片舉例，我們要在一幅圖像上進行特徵點檢測，那麼遍歷全圖像要進行1200萬次檢測，包括各種圖像的卷積、濾波、特徵變換等等。對於一張20幀的圖像，就需要超百億次計算。這還只是圖像對齊，算上合成過程計算量更高。龐大的計算量普通的處理器難以實現，kirin970

特徵點選取示例

另外，在夜景場景中，大部分區域亮度較低，給特徵點提取帶來了很大困擾，往往因為特徵點不夠和特徵點不準確造成匹配失敗。這裡，我們綜合結合了曝光順序控制和曝光差異控制，減小對齊的難度，輔以感測器抖動信息，對圖像在Raw域進行特徵增強，提升圖像對齊的效果，保證大部分場景都能夠拍攝成功。

kirin970 AI晶元

4. 圖像合成

圖像合成的時候，既要考慮圖像的亮暗關係，保證高光不過曝，暗部亮度提升；又要考慮亮度提升後的清晰度、色彩。

合成的時候，演算法對高光區域提升短曝光權重，低照度區域提升累加權重。並且在合成的時候逐像素點檢測圖像的差異，對於差異較大的內容判定為對準失效邊緣區域，進行邊緣矯正和修補，保證合成後邊緣依舊清晰銳利。最後還會基於多幀圖像進行降噪，提升圖像的信噪比，實現夜景更清晰、更乾淨、更亮麗。

對比可以看出，AIS手持夜景效果保持了畫面的整體亮度，又保證了畫面的清晰。

最後，放幾張榮耀10手持夜景拍攝樣張給大家欣賞。

「嚇人的」技術還在持續持續，歡迎關注榮耀不知道專欄，下半場開始了。