關於iPhone 7 Plus雙攝像頭的最強解讀
迄今最出色、最先進的的蘋果手機iPhone 7系列帶著四核處理器,立體聲揚聲器,去除 3.5mm 耳機插孔,增加防濺、抗水和防塵特性,帶來令人讚不絕口的亮黑色,採用色彩更明亮豐富的全新顯示屏等特點閃亮登場。最讓用戶眼前一亮的應該是雙攝像頭。n
n 關於雙攝的一些深入報道:n
n 原創 | 雙攝像頭深度剖析 (2):雙Camera的生態鏈n n 原創 | 雙攝像頭系列(3)原理深度剖析(電子行業人士必看)nn n 關於iPhone 7 Plus的雙攝n n
n 之前ICshare的小編跟大家科普過,雙攝像頭主要是實現距離檢測、暗光增強和光學變焦功能。nn 之前Huawei P9 用彩色+黑白的雙攝像頭,彩色RGBG用來獲得物體的色彩,而黑白攝像頭用來獲得更好的進光量,來判斷被拍物體的光線強度。然後將兩個圖片融合,保證在暗光下拍照,也能使物體的色彩鮮艷。n
n 華為P9雙攝模組nn 而此次iPhone 7 Plus帶來的雙攝像頭,採用了廣角+長焦鏡頭,通過左右攝像頭使用不同的FOV(可視角),使兩個攝像頭取景不同。當拍近景時,使用廣角鏡頭,拍遠景時,使用長焦鏡頭。從而實現光學變焦功能。這一點是Huawei P9無法實現的。n
n 而關於雙攝像頭的參數,我們可以從之前的拆解中得到。iPhone 7 Plus雙攝中的廣角主攝像頭和iPhone 7上的是完全相同的,1200萬像素,F1.8光圈,28毫米等效焦距,長焦副攝像頭雖然也是1200萬像素,但光圈是F2.8,等效焦距是56毫米。n
n 有網友根據庫克公布的iPhone 7 Plus拍照樣張,挖掘到了EXIF信息,進一步得知廣角主攝像頭、長焦副攝像頭的實際焦距分別是3.99毫米、6.6毫米。n
n 一個1/3英寸感測器的裁切係數是7.21,如果iPhone 7 Plus主攝像頭的感測器這麼大,等效焦距應該是3.99×7.21=28.768毫米,和蘋果公布的28毫米十分接近。n
n 副攝像頭的感測器則應該是1/3.6英寸,裁切係數8.6,計算下來6.6×8.6=56.8毫米,也十分貼近蘋果的規格。n
n 作為對比,iPhone 6S/6S Plus的攝像頭感測器也是1/3英寸,等效焦距4.15×7.21=29.92毫米。n
n 一般來說,同樣有效像素下,感測器尺寸越小,噪點就會越多,但蘋果在降噪方面一直頗有心得,比如當初從800萬像素跳到1200萬像素,感測器大小卻沒變,蘋果就加入了很強的降噪演算法。n n iPhone 7 Plus雙攝模組n n 在知道了具體的硬體信息以後,我們再重新看看光學變焦的實現原理,進而理解iPhone 7 Plus雙攝的工作原理:n n 光學變焦原理圖nn 可以看到,左邊的廣角鏡頭負責更寬廣的畫面,但缺陷就是同樣距離的物體,到sensor上顯示出來的物體比長焦鏡頭顯示出來的物體小很多,所以需要右邊的長焦鏡頭負責抓到更遠的物體。n
n 而目前手機的後攝像頭多數都是廣角鏡頭(iPhone 7 用的就是跟iPhone 7 Plus 廣角鏡頭一樣的攝像頭)。用平時使用手機的習慣來看,若用手機後上攝像頭拍風景會非常自然,但拍人就得非常近。現在有了長焦鏡頭,可以在拍人物的時候,切至長焦而方便在稍遠的距離拍攝人物。n
n 因為有不一樣的功能,所以兩個攝像頭大小也不一樣。相對來說,廣角鏡頭的長和寬比長焦鏡頭更長,但長焦鏡頭更高。n
n 此次 iPhone 不僅實現了光學變焦,還推出了背景虛化功能。從下面這張Apple官方的宣傳圖來看,還是非常不錯的。n
n 從這張圖來看,美女和背景區分的非常好,很有單反的效果。不像某些早期推出雙攝的廠商拍出來的照片,一眼看出,就是用的是高斯模糊實現的背景虛化。nn 問題來了,什麼叫高斯模糊?n
n 我們隨便找一張美女圖片,用Photoshop打開,用橢圓形選中美女,然後反選:n
n 然後選濾鏡-->模糊-->高斯模糊(半徑選5),效果如下n n 背景是虛化了,美女的裙子也虛化沒了。nn 我們需要的是真正的背景虛化,真正的大光圈效果,而不是高斯模糊。這也是之前有些做背景虛化的雙攝像頭手機沒有被用戶接受的主要原因。n
n n iPhone 7 Plus的雙攝也不完美n n
n 雖然iPhone 7Plus的存在給消費者帶來了更多的想像空間,但實際應用中其並沒有那麼完美,這就不完美就來自廣角+長焦的這種組合自身的問題。n
n 從上面的光學變焦原理圖可以看出:n
n 1. 兩個攝像頭拍攝的交集只有長焦可以拍攝到的黃色小人那部分。那麼可以肯定的是只有這部分的光學變焦是融合了廣角+長焦的信息,其他部分都只能算是數字變焦。nn 2. 同理,iPhone 7 Plus實現的背景虛化,也只能是中間部分能得到距離信息。當然,Apple將主攝像頭的光圈從iPhone 6s的2.2 提升到 1.8,不需要將兩個攝像頭的數據進行融合,就可以對某些場景的背景虛化是可以做到很好。n
n 3. 只在廣角鏡頭上做了光學防抖。但是經常拍照的人知道,在用長焦的時候,光學防抖更加重要。n
n 當然,第一個問題也不算太致命。畢竟一般人拍照都是重點拍中心部分,四周景色並不是那麼重要。不過最最關鍵的是,此次iPhone 7 Plus 並沒有實現真正意義光學變焦。n
n 我們可以從手機中國李勇(微信號:cnmo2013)的一個試驗中證實這點。他採用了最簡單,也是最直接的姿勢:堵住其中一個攝像頭,來檢測雙攝的真實性。n
n n 既然iPhone 7 Plus的雙攝方案不同於安卓陣營那幾種,我們自然而然的對它的工作原理產生了興趣,先來試試把這兩顆攝像頭分別遮住會出現什麼現象吧。n
n 首先,我們遮住的是左上角的那一顆攝像頭。n
n 擋住左上角的試試看n
n n 哎呦,iPhone 7 Plus氣性不小呀,居然罷工了。n n
n 1X狀態罷工n
n n 切換到2X試一試,居然還在生氣!好了,給你賠個不是還不行...n n
n 2X狀態罷工n n
n n 既然不能遮住左上角那顆,我們接著來試一試另外一顆,剛才都賠過不是了,總不能再生氣了吧。n n
n 遮住另一顆再試試n n
n n 果然,iPhone 7 Plus就和美女一樣,都是要哄的,這一回沒有因為遮住單顆鏡頭而罷工。n n
n 1X狀態正常nn 試著調節一下變焦功能,1.5X情況下也正常運作。n n
n 1.5X狀態正常n n 然而到了2X狀態,iPhone 7 Plus又使出小姐脾氣,罷工了...n n n 2X狀態罷工n n
n n 還有更詭異的是,iPhone 7 Plus生氣罷工嚇得我手抖了一下,手機傾斜角度向上抬了一下,iPhone 7 Plus奇蹟般的消氣了,然而我再把手機傾斜角度往下一壓,這脾氣又上來了。n n
n n 所以,你會看到在遮住左起第二個鏡頭且2X變焦情況下,iPhone 7 Plus會隨著你的傾斜角度有規律的罷工、復工、罷工、復工、罷工、復工...n n
n 角度上抬恢復正常n n
n 角度下壓再次罷工n n
n n 這個詭異現象讓我是滿腦子的霧水,現在能夠確認的是左上角那顆是廣角鏡頭,另外那一顆是長焦鏡頭,iPhone 7 Plus的雙攝方案確實是在兩個攝像頭之間進行切換的,只不過蘋果的優化達到神級,整個切換過程會讓你感覺不出來。按理說在切換到長焦鏡頭並堵住它之後,手機再怎麼改變角度都是無法成像的,然而事實卻是會隨著傾斜角度而罷工、復工的情況,至於為什麼會這樣,n n n 我還沒想好語言來給蘋果爸爸洗地...n n
n n 我們使用iPhone 7 Plus分別在1X、1.5X、2X、5X、10X情況對同一組場景進行拍攝,結果如下圖所示,隨著變焦程度的提升,城樓上的國王距離我們越來越近,10X情況下完全就是近在眼前了。所以說,光變對於拍攝遠景細節非常有幫助,當然,我們的iPhone 7 Plus只有2X光變實力,所以變焦程度越高,噪點會越來越多、銳度越來越低。n n
n 從以上實驗我們可以看出,Apple的雙攝只是在廣角和長焦兩個攝像頭之間的轉換。在1x和2x之間,所謂的光學變焦都是數字變焦模擬出來的。只是Apple通過自己的ISP以及強大的演算法,使得這個變化非常自然。n
n n 為什麼Apple不做暗光增強?n n
n 有些讀者會問,為什麼Apple不會做暗光增強呢?ICshare認為,一方面,夜間拍照的場景相對來說比較少。另一方面,目前來看,彩色+黑白的雙攝像頭目前可以做到的效果並不好。甚至比用了Dual Pixel的單攝像頭的暗光效果要差。這是因為彩色+黑白的雙攝做法很難做,現在沒有太好的演算法。舉個最簡單的例子來說,Huawei的P9的暗光效果就要比Samsung Galaxy S7的暗光效果差。n
n Samsung Galaxy S7是最早使用Dual Pixel Camera的手機。其原理比較簡單,將正常的拜耳陣列的RGBG四個像素的每個像素一分為二。每個像素都有2個光電二極體,從而達到更好的暗光效果。n
n 並且用此技術,比使用PDAF技術的sensor,進行相位對焦的像素要多很多,所以相位對焦速度更快。尤其是在暗光下,PDAF無法使用的情況下,Dual Pixel也依舊可以更快的對焦。n
n 不過製作Dual Pixel 難度也非常大。以Samsung Galaxy S7使用的Sony IMX260為例。此Sensor為12M 1.4x1.4um 的sensor。由於使用了Dual Pixel技術,製作難度相當於24M 0.7x1.4um的sensor(雖然輸出的像素依然只有12M)。S7 這顆Sensor 模組大小為12 x 12 x 5.3 mm,遠大於普通的13M Camera的8.5 x 8.5 x 5mm。而Dual Pixel的12M的價格也是13M的3倍左右。另外Dual pixel的模組高,不利於手機做薄。目前手機攝像頭凸起廣為詬病,缺乏美感,這也是不利於Dual Pixel 流行的因素。nn n 未來的雙攝會怎樣發展?n n
n 蘋果切入雙攝,勢必會給手機產業帶來新的改變,那麼未來的雙攝都會有哪些方法呢?n
n 1. 廣角sensor用 Dual Pixel snesor + 長焦類似n
n 這樣的好處: 可以增加暗光增強功能,可以實現暗光增強,光學變焦和大光圈三個功能。nn 2. Dual OIS。將長焦鏡頭也加入光學防抖。目前蘋果沒有做長焦的光學防抖 主要是因為若雙攝像頭同時做OIS,兩個OIS之間會有干擾,並且很難做同步。但隨著OIS 供應商不斷的改進演算法和精度,這個難題應該很快會被攻克。n
n 3. 如Galaxy S7一樣 使用更大光圈的鏡頭,如1.7的鏡頭,實現更大的光圈,更好的虛化效果。n
n 4. 將FOV的差距拉的更開。目前iPhone的兩個攝像頭的FOV一個是78°和42°。光學變焦的計算公式是:Tan(廣角 FOV/2) / Tan(長焦 FOV/2),所以iPhone 7 Plus的放大倍數為2.1倍。長焦的FOV沒辦法再小了,可以將廣角的FOV做的更大,比如87.7°。這樣放大倍數可以做到2.5倍的放大倍數。n
n 其實這些年Apple的保密工作做的非常差,iPhone 7 Plus 做什麼樣的雙攝,今年上半年很多廠商都已經猜到了。所以明年上半年的旗艦機都會從今年下半年的暗光增強變成光學變焦,上述四種方式都有可能採用。雖然這次Apple並沒有實現真正意義光學變焦,相信2017年的iPhone 8 會帶來更好的雙攝效果。明年到底是國內的雙攝效果更好還是iPhone 8的雙攝效果好不重要,ICshare只是希望各家都能帶來更好的雙攝,推動雙攝的發展。n
n n Apple雙攝對產業鏈的影響n n
n 此次Apple採用的雙攝的模組廠是LG。雖然大陸的舜宇和台灣的光寶都有成熟共基板設計的雙攝模組,並在Huawei P9上廣泛使用,但是還是無法達到Apple對於雙攝中光軸角度的要求是在0.35μ的要求。而據說若做到這一點,曾經的Apple供應商,台灣的Primax才能做到。不過不管怎麼樣,隨著各個機型都開始需要雙攝,大陸和台灣的模組廠都是加強模組廠的AA(Active Alignment)製程的工藝,也就是提高雙模組裝配時,兩個模組相對位置的一致性和準確性。目前這一塊國內做的比較好的就是舜宇,信利,歐菲光和丘鈦微。n
n 而雙攝的普及,對擁有雙攝演算法的公司,如:Altek,CorePhonics,Arcsoft,X-Chip,WestAlgo也提出了更高的要求,需要開發出更好更難的雙攝演算法。n
n 影響最大的則是Camera Sensor公司,雙攝像頭使得整機使用Camera從2顆變成3顆。目前能做出Dual Pixel sensor的公司只有Sony 和 Samsung,其他主要的Sensor供應商GalaxyCore,OV。據TRI的預測,今年雙攝將佔全球智能手機出貨量的2.4%,明年預計在5%以上,這對這些Camera Sensor供應商的備貨都會有很大的影響。n
n 另外,Pokeman GO AR遊戲火爆流行,以及視頻直播時實時的更換背景或加虛擬人物的需求,都對攝像頭提出了很多高要求。而雙攝的成熟會對這些需求變得非常簡單。以後智能手機不僅雙後攝,還會有雙前攝的需求,這都會對Camera Sensor 廠商和模組廠商帶來很多利好消息。n
n 補充:雙Camera都能做什麼?n n 這兩年手機的亮點越來越少,高端智能機現在基本都不再去比拼雷兔兔,而開始PK拍照性能。於是乎,這兩年各家紛紛開始做起了雙Camera。n n 那問題來了,雙Camera到底能做什麼?n n 1、雙Camera可以測距,所以可以做距離相關的應用n n 如上圖,由於雙Camera通過演算法,可以判斷被攝物體的距離,所以通過此特性,很容易做出一些特效,如:n n A: 背景虛化n n 單反相機最出眾的特色之一就是大光圈。由於雙Camera可以測出不同被拍攝物體的距離,對需要進行大光圈的物體對準,其他不同距離的物體虛化,可以輕鬆實現大光圈的效果。nn (原圖)n
n (以美女為中心對焦,虛化背景和受傷的蘑菇)n n (以蘑菇為中心對焦,虛化背景和美女)n n B: 背景替換n n 由於可以測量距離,可以將被拍攝物體里的主體提取出來,更換背景,就可以比PS還簡單,進行摳圖。n n C、背景特效n n 由於可以測量距離,分出主題和背景,所以很容易對背景做任何處理,就不在這裡過多描述。n n D: 測量距離n n 這個圖就非常明顯的標識出不同物體的距離,這個距離信息用不同顏色標識出來。當AP獲得了不同物體的距離信息,就可以做到上述的各種功能。nn 2. 雙Camera 可以做光學變焦n
n 若兩個Camera的FOV不一樣,一個大FOV,一個小FOV,再通過演算法實現兩個光學鏡頭之間的效果,就可以輕鬆做到光學變焦。nn 若不用雙Camera,放大圖片後,文字不清楚n
n 若使用雙Camera,放大圖片後,文字依然清楚n
n 此圖就是融合了廣角的圖和長焦的圖,通過演算法算出了中間態度照片,讓細節不失真。n n n 3. 暗光效果增強n n n 這個一般使用彩色+黑白的攝像頭。通過黑白攝像頭 獲取圖片的光亮強度,來對圖片暗光補償。nn 4. 3D拍攝以及3D建模n
n 不同於一般的3D電影的拍攝。手機上的兩個攝像頭無法在圖像的拍攝過程中就產生足夠的視覺差,這是由於兩個攝像頭中間的距離和人眼不一樣。而且為了能夠讓人們更明顯的得到3D視覺效果。所以往往需要演算法進行增強。n n 由於可以測出距離,後續的雙Camera不僅僅可以實現3D攝影,還可以進行3D建模,到這個時候,我想雙Camera的重要性則會更加重要。nn 其他的效果增強,比如HDR,提高解析度,這些功能其實單Camera也可以實現,只是雙Camera可以讓效果更好,就不一一列舉了。n
n 總結:n n 目前來看,這幾個功能是雙Camera手機最常見的功能。背景虛化/更換,暗光效果給用戶帶來了更多的拍照效果。光學變焦則讓我們感受了變焦功能的相機功能。但個人覺得未來最讓人激動的則是3D功能。n n 今年VR這麼火,VR的素材哪裡來?還是得靠雙Camera演算法的優化。若3D拍照和建模的演算法成熟後,將會讓雙Camera 變得更加流行。nn n 作者:n n n n ICShare 創始人,手機行業十餘年老兵n n
n n n 【關於轉載】:轉載僅限全文轉載並完整保留文章標題及內容,不得刪改、添加內容繞開原創保護,且文章開頭必須註明:轉自「n n 半導體行業觀察icbankn n 」微信公眾號。謝謝合作!n n n n n
n n 【關於投稿】:歡迎半導體精英投稿,一經錄用將署名刊登,紅包重謝!來稿郵件請在標題標明「投稿」,並在稿件中註明姓名、電話、單位和職務。歡迎添加我的個人微信號MooreRen001或發郵件到 jyzhang@moore.renn n
推薦閱讀:
※怎麼看待晶元的冗餘設計 | 半導體行業觀察
※iPhone8的3D攝像頭革命,誰將受益?|半導體行業觀察
※ICCAD2016魏少軍教授:中國IC產業2016年終盤點 | 摩爾精英現場
※產業漫談:從內存漲價談中國崛起
TAG:半导体 | 双摄像 | iPhone7Plus |