從 Nokia 7 Plus 聊起:你們根本不懂雙攝

如果你是懂得觀察的細緻人類,每次外出應該都不難發現,大部分普通人用手機拍照時,很喜歡用數碼變焦——寧可數碼變焦破壞畫質,也不願往前多走兩步。對於有追求有理想的年輕人來說,「數碼變焦」理應是某種一輩子都不應該去觸碰的「恥辱」。可能除了像堅果 Pro 2 這種上個世紀的雙攝方案,當代手機雙攝最大的價值就是讓很多人能夠更「安心」地進行兩倍變焦。

至少於我而言是如此——尤其對於擁有畫面感的人來說,焦距 x2 是種極大提升便利性的存在。而且即便知道在光照不夠充足的環境下,系統可能不會啟用長焦攝像頭,我依然變得更願意使用這個所謂的變焦功能——至少很多時候它不再是數碼變焦,並很僥倖地認為,這樣一定畫質更好(即便是夜晚也存在這樣的僥倖)。當然了,如果是廣角+長焦雙攝解決方案,像我這樣的人依然不會使用類似 1.2x 或 2.8x 變焦倍率,因為那又是數碼變焦啊啊喂!但至少,就創作場景,增加的長焦鏡頭將拍攝機會增加了一倍。

在這篇文章中,我期望借著 Nokia 7 Plus 這款手機的攝像頭再聊聊當代的雙攝,雖然之前似乎已經聊過好幾篇了。

這篇文章一方面給想要了解 Nokia 7 Plus 拍照表現的同學準備,另一方面為成像技術愛好者提供一些入門的基礎資訊——這些資訊屬於介紹性文字,完全用於拓寬各位入門愛好者的視野,並無探討及揭曉本質的價值(畢竟我也沒人脈搞到內部貨,我的文章不一直這風格么?)。

需要強調的是,我只是個搞翻譯的,並不做光學和半導體研究;本文也不探討雙攝工程方面的問題,故若有貽笑大方之處,還請不吝賜教。

聊當代雙攝幾種主流解決方案(廣角+長焦、彩色+黑白、兩顆一模一樣的攝像頭,以及配一顆低像素輔攝像頭)的文章太多了,這裡不再費力介紹。先前我也已經發文談過雙攝(雙攝像頭都是噱頭嗎?聊聊 iPhone 的雙攝 by DxOMark),雙攝從來都不是某些媒體口中的營銷噱頭。它不僅對於提升成像畫質、擴展拍攝場景有效,而且其目標本身就是要突破小底設備成像的桎梏,從演算法的角度,讓其所攝畫面的第一觀感向大底設備(如單反)更加靠攏。

回頭看手機攝像頭技術的發展歷史無不如是,包括諾基亞 808Pureview 空間上的超採樣,當代手機成像的多幀合成這種時間線上的超採樣。它們都是期望,用算力和演算法來儘可能緩解圖像感測器面積小帶來畫質不佳的問題,這大約也會是未來的一個方向。畢竟手機的輕薄化路線,是不大可能令其攝像頭與單反處在同一起跑線上的。雙攝乃至多攝的出現,是在保持手機輕薄的基礎上,提出的一種思路——其本質仍然是以更多的數據量,以更高的算力來解決小底設備成像的幾個問題。

這些問題主要包括小底成像寬容度表現不佳,暗光環境成像能力不佳,定焦鏡頭的創作場景受限,以及在光學結構上小底成像設備無法拍出單反所能呈現的淺景深。尤其是後兩者,是雙攝和多攝的主要著力點,即便可能當代的解決方案仍然做得還不夠理想,但它們的確在「光學變焦」和表現淺景深方面邁出了一步,這是以往的單攝無論如何都無法做到的。

或許雙攝可以起到宣傳效果,但其目標沒什麼可置喙的,尤其在圖像感測器製造商(以索尼、三星為代表)、鏡頭製造商(以大立光、舜宇光學為代表),演算法解決方案提供商(以 Arcsoft、Altek、Corephotonics 為代表),以及晶元製造商(以高通、聯發科為代表)、評測機構(DxOMark 為代表)都在驅動雙攝方案的前提下,這並不是某一家手機製造商呼喝一聲的結果。

有關 Nokia 7 Plus 的主攝像頭

諾基亞 7 Plus 所用的雙攝方案和 iPhone 一樣,為廣角+長焦,即一顆攝像頭可用於拍攝偏廣角的照片,另一顆則可以拍攝視野收窄一倍(畫面放大一倍)的照片,兩者一起工作則能夠實現背景虛化效果(淺景深)。在一般拍攝場景下,我們可以將這兩顆攝像頭視為兩個獨立的系統,它們各自分別獨立成像。

還是先來說說諾基亞 7 Plus 主攝像頭(廣角攝像頭)的情況。內部可靠消息,這顆主攝像頭採用的 CMOS 圖像感測器為 S5K2L7,這是一顆支持 Dual-PD(相位對焦)、1200 萬像素、1/2.56 英寸的圖像感測器[1];鏡頭部分光圈 f/1.75,最近對焦距離 10cm 左右;從 EXIF 信息來看,這顆攝像頭支持的 ISO 區間 50-3200,自動模式下最慢快門速度 1/14 秒(手動模式支持最慢 4 秒的快門)。

拍攝體驗整體還是很不錯的,而且沒有以往諾基亞手機拍照時明顯的遲滯感,按下快門便能及時成像——但在進行照片合成時偶有可感知的滯後,不過對拍攝體驗的影響並不大。另外這次諾基亞主打拍攝界面的回歸——即前兩年的 Lumia Camera,形如上圖的參數調整界面,呼出方式也是在快門按鍵位置上劃。不過私以為,其 UI 布局還不夠合理,尤其整個界面中,上面、左邊、右邊都有菜單,這會帶來交互的混亂。而且某些按鍵設計不合理,比如虛化背景選項藏在二級菜單中、變焦按鈕需長按才能滑動、純手動模式下無法回放剛才拍攝的照片(必須先退出手動模式)。

聲明:由於知乎的發圖限制,以下所有圖片壓至 2000 x 1500 寬度,其餘未做任何後期修飾;壓縮軟體用的是 Mac 平台的 Super Resize(有幾張可能因為尺寸原因,再用 Photoshop 壓縮),或對原片畫質造成影響。

ISO400, 1/25s

ISO100, 1/33s

ISO400, 1/25s

ISO50, 1/2147483647s

ISO400, 1/25s

ISO50, 1/143s

ISO500, 1/20s

ISO200, 1/34s

ISO100, 1/3633s

ISO400, 1/20s

諾基亞 7 Plus 攝像頭的成像質量相較去年的諾基亞 7(從 Nokia 7 和蔡司認證,聊聊諾基亞的「德味」)有著質的飛躍,尤其表現在對比度和色彩的表現上。

  • 成像的寬容度表現一流,顏色鮮艷生動,但又不致溢出——在配合諾基亞 7 偏鮮艷的屏幕時會感覺,其飽和度尤甚,相比 iPhone 的成像風格鮮艷得多。
  • 諾基亞長久以來的 color shading 問題得到了很好的抑制,室內場景也已經很輕微。
  • 加上諾基亞 7 Plus 測光大部分情況下偏激進、自動白平衡的調整偏激進,很少對原場景的氛圍做保留;以及在色深方面,直出片就略微壓縮了偏暗部層次;所以諾基亞 7 Plus 拍的大部分照片有種更明快、更活潑的感覺。
  • 這種觀感上的出色還延續到了暗光場景:其夜拍也極大程度保留了飽和度信息,而且這種飽和是人眼看原場景所沒有的。所以我在拿著多款手機出街時,晚上也更喜歡用諾基亞 7 Plus 來拍照,尤其它對場景色彩的控制大部分時候既讓人覺得出彩,又不會太誇張。

ISO400, 1/25s

ISO640, 1/20s

ISO320, 1/24s

ISO500, 1/20s

ISO400, 1/20s

不過這款手機如果拿去給 DxOMark 評分,恐怕結果並不會很理想。其拍照的幾個弱勢項還是比較明確的:

  • 最大的問題是抑噪;尤其在暗光場景下,即便是偏純色的位置,雜訊控制都很不理想;(重點看上圖中夜晚的摩天輪,靠邊緣位置的噪點問題比較嚴重,在我使用手機期間的一次固件升級後,抑噪問題有所緩解)
  • 某些照片會出現詭異的部分位置清晰,部分位置模糊的情況,這可能是多幀合成演算法失誤(而且這種情況也出現在了長焦攝像頭成像時,如下圖);
  • 鏡頭邊緣位置素質略差,有著比較明確的解析力下降;遠軸存在可見的色散;
  • 自動白平衡總體穩定,但由於自動白平衡偏激進,所以在黃色光偏多的場景下,整體畫面會偏藍;
  • 在拍攝光比偏大的場景時,雖然寬容度還不錯,但偏暗部的層次會被壓縮——一般來說人眼對於亮度變化的感知並不呈線性,人眼總是偏向於觀察到更多的暗部層次,更少的亮部層次;
  • 測光偶爾不穩。

ISO250, 1/25s, 注意前方自行車是虛的,但這並不是因為自行車位於焦外,注意觀察龍頭部分是清晰的;這種情況小概率會發生

這部分最後值得一提的是,諾基亞 7 Plus 手動模式下支持最長時間 4 秒的曝光——這個設定用來拍極限弱光環境是可行的,外出偶爾可以玩玩,但要拍攝城市大馬路上行車的光軌則不存在可能性,因為 f/1.75 光圈過大,最低 ISO 基本在 2 秒時照片就過曝嚴重了。所以說啊,808Pureview 的 ND 濾鏡,以及 Galaxy S9 兩檔光圈存在的必要性。(另:長焦攝像頭不支持手動模式)

ISO100,4s,f/1.75

長焦攝像頭的日常

總的來說,我對於諾基亞 7 Plus 主攝像頭(廣角攝像頭)的成像表現還是基本滿意的,摒除照片可能出現部分位置模糊的情況(期盼日後固件升級可能調整的演算法部分),其餘日常使用還是非常得宜。

好了,正文終於要開始了...是的,畢竟本文主要談的是「雙攝」,長焦攝像頭的使用此刻才要開始。雖然似乎並沒有評測機構將所謂的「副」攝像頭當做獨立的系統來談,不過在我看來,雙攝本質就是兩個攝像頭拍照片。兩者所攝畫面的各部分參數都完全不一樣(包括 ISO、光圈、快門和焦距),連透視效果都不一樣,自然可以分開說——形如兩個相機一樣。接下來的部分可能會比較枯燥,可選擇性閱讀。

諾基亞 7 Plus 的長焦攝像頭,圖像感測器部分用的是三星 S5K3M3,這是一顆支持相位對焦、1/3.42 英寸、1300 萬像素的感光原件[2](Galaxy Note 8 也用了這顆底)。從使用體驗來看,其最近對焦距離應該在 50cm 左右(當物距小於 50cm 時,系統也會切回廣角攝像頭)。從 EXIF 信息來看,其鏡頭光圈為 f/2.6,物理焦距為 6mm,那麼我們來算一算其等效焦距是多少:

等效焦距 = 物理焦距 x 焦距轉換係數

鑒於這顆底的寬高比差不多就是 4:3,所以可以直接套用焦距轉換係數 = 全幅圖像感測器對角線 / 該感測器對角線長度(mm) ,而 CMOS 的 1 英寸是 16mm(而非 25.4mm),所以諾基亞 7 Plus 長焦鏡頭等效焦距 = [43.27 / (1/3.42 x 16)] x 6 ≈ 55 mm。

從取景視野來看,這個結果也差不多,的確是其長焦鏡頭的大約兩倍等效焦距。某些媒體說,56mm 左右的焦距在構圖上,比 28mm 更容易——這是周圍幾乎所有攝影師好友,以及我都不同意的說法。實際上,這個焦段在拍攝人像時的確有優勢,且在保持被攝物相同大小時,其透視變形更小,好比同樣是拍張桌子,長焦拍的桌子對邊會更趨於平行——人的鼻子拍出來也更小,按照拍攝者的需求來看,這就極大擴展了拍攝題材。但用 56mm 拍一般的景,還真是挺難出好照片的,尤其像我這種對攝影並無興趣的。

扯遠了,諾基亞 7 Plus 長焦攝像頭的開啟和使用邏輯,與 iPhone 的雙攝是類似的。即在拍攝界面直接點擊 2x 變焦時,若拍攝場景光照充足,則採用這顆長焦攝像頭拍攝;若光照條件較差,則不用長焦攝像頭,仍採用主攝像頭進行數碼變焦。系統理應有個邏輯來判斷場景是否啟用長焦攝像頭(另外,若拍攝物距很近時,即便光照條件很好,手機也會切回廣角攝像頭,因為長焦鏡頭最近對焦距離稍遠)。

這麼做的原因是,受限於手機的厚度,攝像頭模塊無法做得太厚。所以原本需要佔用一定厚度的長焦鏡頭,只能縮小成像圈,把光圈和圖像感測器都做小——這樣一來,最終的成像結果也就不會太理想,尤其暗光環境下,其成像質量甚至可能還不如廣角攝像頭暴力放大後的畫面。

圖片來源:DxOMark,不同照度下,iPhone 7 Plus 的兩倍變焦畫面質量對比(很容易發現,在照度較高的場景下,長攝畫質遠優於僅採用廣角鏡頭數碼變焦後的畫質;但隨著亮度下降,這種優勢逐漸削弱,到 100lux 時必須藉由廣角和長焦的照片合成;而到了 20lux,則不再啟用長焦)

但就 iPhone 的邏輯來看,在某些光照條件一般或偏暗的場景下(如 100lux 照度下),iPhone 會試圖讓兩顆攝像頭同時拍照,並最終將兩顆鏡頭所攝畫面合成,獲得一張質量更好的照片。這也算得上一種折中行為。猜測諾基亞 7 Plus 也是這麼做的。因為在我拍攝時,某些光照條件場景下,兩倍變焦按下快門會讓拍攝的延遲更久,猜想可能是合成過程的耗時。

我沒有專業的測試用具,所以並不清楚,在幾勒克斯的照度以下,諾基亞 7 Plus 就不會再選擇長焦攝像頭(也有可能並不僅按照照度來計算)。但我們通過 EXIF 信息還是可以輕易發現,如果啟用長焦鏡頭,則照片 EXIF 信息會標註 6mm 焦距(和 f/2.6 光圈值);如果使用的是廣角鏡頭數碼變焦獲得 2 倍焦距,則照片 EXIF 信息會標註 4.28mm 焦距(和 f/1.75 光圈值)。

從日常拍攝來看,諾基亞 7 Plus 自動啟用長焦鏡頭的光照條件要求,比 iPhone 7/8 Plus 都更為苛刻。這也很大程度反映了,當代長焦雙攝方案的可用範圍仍然是很受限的。但想想其實也沒什麼,回想 5、6 年前的手機主攝像頭,拍的照片還不如現在的副攝像頭,日子也照樣過,照片也照樣發,可預見建基於光學和半導體技術發展的未來。就似 19 世紀中期,f/3.5 都幾乎成為光圈大小的極限;7 年前的 iPhone 4s 主攝像頭光圈也不過 f/2.4。

ISO50, f/2.6, 1/2147483647(???)

ISO64, f/1.75, 1/100s

ISO1600, f/2.6, 1/33

ISO320, f/2.6, 1/33s

ISO2000, f/2.6, 1/33

ISO2500, f/2.6, 1/33s

ISO80, f/2.6, 1/111

咱還是來看看這顆長焦攝像頭通常情況下的成像表現如何(包含與廣角攝像頭照片合成的情況)。諾基亞 7 Plus 的這顆長焦攝像頭,優勢仍在於即便在光照不理想的環境下,依然不存在失色的情況,飽和度始終都處在很討喜,又不輕浮的狀態;對焦快且測光大部分情況下比較準確;光照即便不理想,畫面信噪比也可接受。所以這顆長焦頭依然有很好的可用性。

長焦攝像頭最大的短板依然是其鏡頭部分:一方面是邊緣解析力不夠好,且存在可見色散和球差,存在可見的 color shading 問題,所以照度並不算高的場景下,邊緣更容易丟失細節;另外一個比較大的問題即,有些照片存在部分區域模糊情況(見下圖,注意,此處我並沒有開啟虛化模式),這似乎仍然是合成演算法的鍋——可能是多幀合成演算法,也可能是兩顆攝像頭所攝畫面的合成演算法。而後者恰是雙攝的重要組成部分。

有關雙攝的合成演算法

本文的前兩部分,實際上是將雙攝作為單獨的兩個成像系統來談的,但就像文章開頭說的那樣,雙攝真正的目標是改善手機用戶的拍攝體驗和效果,所以這是一套系統。表現在使用體驗上,雙攝要解決兩顆攝像頭的使用連貫性問題,就需要花點功夫——比如既然是兩顆攝像頭,它們所處的位置就不一樣,它們倆看到的世界就是不一樣的,那麼在用戶進行「變焦」操作時,從 1.9999 倍劃至 2 倍變焦,若啟用長焦攝像頭,那麼取景畫面的銜接就要求做得儘可能平滑(因為 1.9999 倍變焦時還在用廣角攝像頭的數碼變焦,而 2 倍就得用長焦頭了),包括白平衡、測光、視野方面。

諾基亞 7 Plus 在切換 2 倍變焦時,在某些場景下,存在猶豫不決的情況,即可能出現在兩顆攝像頭間左右切換的情況,這在取景框中是肉眼可見的,而且偶爾,色彩會快速閃兩下。這是需要改進的部分。

另外雙攝融合,最主要的仍然體現在兩張或多圖的合成方面,也就是最終的輸出結果(包括背景虛化演算法)。畢竟從不同位置的兩顆攝像頭,所攝畫面還是存在些許視差的,如何毫無違和感地合成,這就是演算法需要解決的問題了。圖像合成的另一價值還在於,將兩顆攝像頭的信息量進行疊加,比如對於彩色+單色圖像感測器的雙攝,單色感測器通常能夠捕獲更多的光,得到更高的解析度和信噪比,那麼在與彩色圖像感測器捕捉的畫面做圖像合成時,自然能夠改善成像的信噪比和解析力。

圖片來源:Light 官網視頻廣告截圖

廣角+長焦方案自然也有這方面的價值,不過其圖像增強部分會略受限,畢竟兩者的焦距都不同。在這套多攝方案方面走得最遠的應該是名為 Light L16 的相機——這是一款採用了 16 個定焦鏡頭的成像設備,每個鏡頭都分別有自己的圖像感測器。其中 5 個鏡頭等效 28mm 焦距,5 個等效 70mm,還有 6 個則等效 150mm 焦距[4]。它可以拍攝一張 5200 萬像素的多攝合成照片,且支持先拍照後對焦(還能調整景深)、先拍照後曝光,本質上就是建基於較大的數據量。

當然,Light L16 也支持 28-150mm 的「光學變焦」,其原理和廣角+長焦雙攝手機的原理是類似的,它們本質上都不算真正意義上的光學變焦,所以對 Light L16 而言,在 28-70mm 範圍內的變焦,實際上主要依賴於 28mm 鏡頭的數碼變焦(當然因為有 5 個 28mm 鏡頭,信息量也比一般設備更充盈)。

但值得一提的是,在拍攝比如 50mm 焦距的照片時,設備也會將 70mm 鏡頭所攝畫面與其合成,這樣一來,最終照片越往中心位置的信息量(解析力)會越多。所以多攝無論如何也都還是有價值的,雖然似乎還沒有聽說哪款雙攝手機會在拍照 1-2 倍變焦時這麼干。比較有趣的是,Light L16 針對攝像頭處在不同位置的視差,在圖像合成方面有個前期手法。在 L16 的 11 個鏡頭前方都分別配有一個反射鏡,可通過微調來調整視場中心位置。

作為一個普通且帥氣的媒體人,我當然沒有什麼機會去了解圖像合成演算法的細節,也無法確認諾基亞 7 Plus 的雙攝方案來自哪裡(不過 S5K2L7 + S5K3M3 配合的方案市面上不少見)。不過很有幸,早前在給某晶元製造商寫稿時曾看過一篇文章,來自 Corephotonics 的一份技術白皮書,相對粗線條地介紹了雙攝的合成演算法——這裡與各位分享,或可在演算法方面管中窺豹[5]。Corephotonics 是一家以色列的企業,著力於雙攝解決方案,HTC、小米、一加、OPPO 都用過這家公司的方案,去年 MWC 大會上 OPPO 展示的一款 5 倍潛望式變焦手機就用上了 Corephotonics 的方案。

圖片來源:Corephotonics 官網

雙攝圖像合成在 Corephotonics 的方案中包含幾個步驟:校正(rectification)、全局配准(global registration)、局部配准與視差修正(local registration and parallax correction)、決策與合成(decision and fusion)。

第一步校正要做的,是針對光學結構和對焦機制可能造成的畫面失真和一些像差做修正,並依據攝像頭模塊的配置,讓兩張圖片中的對應點靠到相應軸線上;全局配准所做的,則是針對兩顆攝像頭的全局差異(如每顆攝像頭的特定屬性和一些動態變化導致的)做計算和補償;局部配準的精度相較上一步更高,針對輸入圖像的每個像素來發現修正視差;最後,根據上一步驟中發現的局部視差,利用演算法進行兩張照片的合成——這部分會由相對複雜的決策模塊構成,需要解決遮蔽、配准錯誤之類的問題,並且會有個自適應演算法來消除最終照片可能出現的偽像。

圖片來源:Corephotonics 官網

不好意思,一激動又講了一堆裝逼的話。實際上,圖像合成是個比較有挑戰性的活兒,面臨的挑戰比如遮蔽問題。由於兩顆攝像頭的視角差異,它們所看到場景中,前後物體的遮擋關係是不一樣的,某些演算法可能就處理不好這檔子事兒,如上圖所示。

再比如鏡頭光學特性和結構對圖像合成的影響。兩顆鏡頭的畸變差異會讓配准過程變得更困難;另外還有由於兩顆攝像頭焦距、光圈的差別,它們所攝畫面的景深也是不同的——如上圖,兩顆攝像頭同時對焦在前方綠色盒子上,對廣角鏡頭而言後方的玻璃瓶仍處在景深範圍內,而對長焦鏡頭來說,瓶子已經算是焦外了。其他問題還有比如說重疊區域至非重疊區域的過渡問題如何處理。

早年華為的雙攝,在演算法上就存在一些比較明確的缺陷,比如上圖這樣某根線條可能出現兩次的情況(上圖是 Corephotonics 列舉 iPhone 7 Plus 的圖像合成演算法失誤,強烈懷疑他們只是在黑蘋果而已)。單攝像頭的多幀合成演算法面臨的挑戰相對會小很多。而諾基亞 7 Plus 在我們前文列舉的照片某些區域模糊的問題,可能就來自雙攝圖像合成,或者多幀合成演算法失誤。我感覺,這個問題在隨後版本的固件中修正也並非難事(或我的機子僅是個例?)...

不過對我來講,雙攝圖像合成演算法最大的價值可能並不是 100lux 照度下兩倍變焦圖形的合成增強,而是背景虛化,或營造的淺景深效果。

焦外,虛化,Bokeh

Bokeh 感覺又是個極有逼格的辭彙,其緣起是日文。通常我們可以將其理解為焦外的虛化,屬於光學範疇內的一種現象。如果你要理解焦外和虛化,當然首先就得知道什麼是景深。有關這個問題,先前我也寫過不少文章談到了,如果你不理解什麼是景深,或對這個概念還非常模糊,那麼強烈建議你先去看我寫的這篇回答:歐陽洋蔥:用演算法合成的背景虛化效果與用大光圈鏡頭拍出的效果相比差距有多大,主要區別在哪裡?

畢竟國內泛科技媒體的編輯,不明白什麼叫做景深(depth of field),並且還隨意亂用的,並不在少數(而且我不是很明白,堅果 Pro 2 為何會將其副攝像頭命名為「景深攝像頭」)。總結一句話是,相機所攝照片一定會有個景深範圍,這個範圍可深可淺(或可大可小),所謂的景深範圍,即刨除鏡頭和光學系統自身的像差,畫面中人眼看來清晰的區間就是景深,而景深範圍之外的部分,我們就可以將其稱作「焦外」。

如果你對成像的理解已經相對比較深入,應該會知道一個推論,即決定景深的因素,在物距一定的情況下,究其根本也就只有光圈孔徑的大小而已。當然,還會有一些連帶間接關係,比如焦距、圖像感測器的大小。像手機這種光圈孔徑很小(不是光圈 f 值很小)的設備,是很難拍出淺景深,或者背景(和前景)虛化效果很好的照片的。

而雙攝可以藉助(類似於人類雙眼的)視差,來大致判斷被攝主體邊界,以及畫面中不同物體的深度(depth),構建起 depth map,根據不同深度來模擬不同程度的虛化,達到以演算法和算力來解決手機拍照空間層次感不強的問題。有關雙攝究竟是怎麼實現背景虛化(或模擬淺景深)的問題,可參見我的另一個回答:歐陽洋蔥:Google 新發布的 Pixel 2 是如何做到只用單攝還能實現虛化效果?

如果你對當代背景虛化效果很不滿意,並且認為它很難有改進,不如去看看當年 HTC M8,以及其後榮耀 6 Plus 這種早期雙攝的背景虛化效果如何,就不難發現這兩年演算法的跨越式進步。

上面這張照片就是用諾基亞 7 Plus 的虛化模式拍攝的。就第一觀感,應當少有人能夠分辨,這樣的虛化是來自光學結構本身,還是來自雙攝模擬。因為至少就這張照片,其被攝主體的突出位置幾無破綻,且往後不同距離的虛化程度也有差異,並且基本自然。而且這個場景也並不簡單。這是早年雙攝完全無法媲美的。

我始終覺得,以被攝主體邊緣所謂「摳圖」準確性來判斷雙攝的虛化好不好,是很不靠譜或者不大完備的一件事。為此,我們可以了解一下 DxOMark 對於 Bokeh 項目的評判標準。他們對於雙攝模擬虛化表現的評判大致分成這幾個部分[6]:

  • 主體背景分離:也就是泛科技媒體常說的「摳圖」準確性;
  • 等效光圈:以全幅單反的不同光圈為參考,來評判雙攝模擬虛化不同位置的虛化程度是否合理;
  • 虛化過渡:如果你理解「景深」的概念,就不難理解,焦外不同位置的虛化程度理應有差異,而不是一模一樣的;這一步就比較考驗演算法中 depth map 構建的準確性了。此外,DxOMark 在評判這部分時也考察前景虛化。
  • 雜訊一致性:這一點我覺得很有意思,是非常細緻的一個點。即通常成像,大光圈在帶來淺景深的同時,可以獲得更大的光通量,照片理應會帶來更少的雜訊。但手機雙攝模擬的淺景深,通常畫質堪憂,尤其夜間拍攝會帶來大量噪點——這和大光圈的光學特性完全相悖。而且還有一個有趣的問題,就是一般手機模擬虛化,在背景位置應用模糊演算法之後,背景位置的噪點也被模糊掉了,於是照片看起來被攝主體一堆噪點,而背景則挺乾淨的,這是有悖常理的。光學結構造就的淺景深,相同亮度區域畫面任意位置的雜訊分布都相對均勻。

  • 虛化特性:這一點在我看來,幾乎就是考察焦外彌散圓長得怎麼樣。一般焦外的光源,會在畫面中形成一個個夢幻的光斑——也就是比較大顆的彌散圓。彌散圓的形狀及外觀,和鏡頭的光學特性有很大關係。如上圖所示,左上圖是單反拍攝的,後面三張都是不同手機模擬的虛化,括弧裡面的數字是 DxOMark 給出的評分(大顆彌散圓好好好)...
  • 可重複性(Repeatability):主體考察虛化表現是否穩定,相同場景與不同場景是否能夠得到可靠的結果。

有興趣的同學可以去仔細研讀 DxOMark 針對 Bokeh 項的評分細則[7],雖然這部分 DxOMark 更偏向採用主觀評分,但客觀考察部分似乎是相當嚴苛的,比如嚴格到計算景深範圍(DOF),及距離焦平面不同位置的彌散圓理應有多大直徑——這其實也是成像理論的入門知識。

這裡我們稍微探討一下「虛化特性」這一項。我們來看上面這張照片,這是我用諾基亞 7 Plus 的手動對焦,刻意拍虛的一張照片。當然了,這張照片就是用主攝像頭拍下的,而沒有長焦攝像頭的參與。之所以可以虛成這樣,是因為對焦距離(物距)已經達到最近極限。所以後面的車燈表現出了明確的虛化。

從彌散圓的外觀來看,這顆鏡頭並沒有顯得多高端——尤其某些彌散圓外圈還圍繞了一圈暈輪(像肥皂泡),這一般可以認為是鏡頭過度矯正球差所致。但就手機鏡頭來說,這部分的表現,大部分手機是半斤八兩的,畢竟手機鏡頭和單反鏡頭的投入、複雜性和體積都有質的差別。

在這個問題上,針對雙攝模擬彌散圓效果的評判,我感覺 DxOMark 的標準還是挺有意思的。首先,他們不介意雙攝模擬出非正圓形的彌散圓(一般單反鏡頭在收縮光圈時,由於光圈無法保持正圓,所以彌散圓會表現出多邊形);也不介意彌散圓出現紫色、綠色暈輪(一般這是由鏡頭的色差所致);更不介意彌散圓出現肥皂泡(過度矯正球差)、甜甜圈(光線反射折射所致)的樣式。

並且實際上,DxOMark 也很鼓勵雙攝模擬出這樣的效果,畢竟真實世界中沒有多少完美的鏡頭(卡爾蔡司的許多鏡頭被認為擁有極為優雅的焦外成像),反正也都是模擬,模擬出一些光學結構的缺陷在此就是件好事——更何況像折返鏡頭這樣的東西,還有更多攝影大師的作品,都是利用彌散圓的不完美進行創作的。可惜現在還沒有手機廠商這麼干。

Redenstock Imagon 250mm 鏡頭不同位置的彌散圓

對這部分感興趣的同學,可以去看看 Harold M. Merklinger 大師 1997 年刊載於《Photo Techniques》的一篇文章《A Technical View of Boke》[8]。這篇文章從採用一個三角形的光圈開始(光圈影響彌散圓的形狀,及對不同空間頻率的原有圖形);

到提及存在於 Rodenstock Imagon 250mm 鏡頭中的球差,造就的彌散圓特性——如上圖所示,從左往右的四個彌散圓,分別是在焦平面之前 4cm,焦平面之前 2cm,位於焦平面,以及位於焦平面之後 2cm 的彌散圓,它表現出焦平面前後彌散圓的不同形態,前景彌散圓周圍存在暈輪,後景則在核心位置偏亮,前後同距離彌散圓直徑有差異;

再到 Nikkor-W 180/5.6 鏡頭則在焦平面後方的彌散圓存在暈輪;以及兩枚鏡頭應用到實際拍攝中的具體表現差異。

實際上,對於彌散圓究竟怎樣才算完美,並沒有很通俗的定論。而且這個話題我們談得有點太遠了,反正目前還沒有雙攝手機真的在這方面做文章。下面這張圖是用諾基亞 7 Plus 晚上模擬的背景虛化,背景車燈部分沒有做什麼放大和特別的處理,但就這部分還是略優於 iPhone 的。

那我們來看看諾基亞 7 Plus 的背景虛化模式拍攝的照片究竟如何:

諾基亞 7 Plus 由於相對較暗的環境下也可保證飽和度,所以許多虛化效果照片的觀感會明顯更好(即便畫質看起來已經略差,但在當代環境下已經算很不錯了);

  • 只不過其 depth map 構建演算法的準確性仍然是不及 iPhone 的,遇到高頻對象,更容易出現虛化破綻;
  • 諾基亞 7 Plus 對前景的虛化更為積極,這一點還是值得肯定的;
  • 在其可重複性表現上,算是基本穩定,只不過其可虛化的條件也比 iPhone 7 Plus 更為苛刻(對光照有更高的要求),所以在適用場景方面顯得比較窄。
  • 並未針對「雜訊一致性」(前文提到的 DxOMark 的標準之一)做模擬(實際上現在也沒有手機在這麼干)...

值得吐槽的是,如前文提到的,虛化背景是作為一個功能放在二級菜單中的。我始終覺得,這個功能未來會越來越重要,尤其是其職能是用以在照片第一眼觀感上靠近單反的,這種空間層次感的營造當然就會很必要,而不應僅當其為某種增加可玩性的附加屬性——所以加到一級菜單中我覺得很有必要。只不過現在大部分雙攝手機的模擬虛化表現都一般(要是有 16 個鏡頭就好了...),我們或許還可以期待未來幾年演算法上的進步。

好了,圍繞雙攝侃了這些點,算是給各位攝影愛好者提供可以再深入研究的一些基礎性材料,不成體統,但願各位還喜歡。文章有點太長了,是時候收尾了。

諾基亞 7 Plus 在拍攝方面的整體表現相較前作完成了一個極大的飛躍,雖然我不知道這其中的空隙是如何填補的,也不知道現在的諾基亞,在演算法方面是否還以自主研發為主要方向(期待如此)。有如此跨越,當不愁未來的機型在拍照方面再實現進步。不過我期望,下一次我再給諾基亞寫文章的時候,可以毫無顧忌地用「出類拔萃」這個詞來形容其成像表現。

參考來源:

[1]S5K2L7 | Mobile Image Sensor | Samsung Official

[2]S5K3M3 | Mobile Image Sensor | Samsung Official

[3]Shoot-out: Apple iPhone 7 versus the Apple iPhone 7 Plus using our new test protocol - DxOMark

[4]Beyond dual cameras: how Light wants to take on the DSLR

[5]Image Fusion - How to best utilize dual cameras for enhanced image quality

[6]Evaluating computational bokeh: How we test smartphone portrait modes - DxOMark

[7]Image Quality Benchmark - DxOMark

[8]bokeh - Luminous Landscape

*轉載請註明來自周三科技,及作者歐陽洋蔥


推薦閱讀:

手機越來越方便人們的生活,手機是怎樣一步步發展而來的呢?
如果特斯拉是蘋果、蔚來是小米,那誰會是華為?
為什麼很多人都說華為是最好的國產手機品牌?
榮耀7x什麼時候上市產品價格?
是不是安卓手機系統越升級越流暢(4.0之後),而iOS系統越升級越卡頓,如果是,這種現象是什麼導致的?

TAG:諾基亞Nokia | 手機 | 攝影 |