Scalado Remove 手機拍照技術可以移除照片中不需要的人物，這個是怎樣實現？

12-07

Scalado Remove 的報道 http://www.36kr.com/p/83443.html

大家看視頻不認真呀，這個其實和scalado的rewind功能實現的原理是一樣的（rewind也就是笑臉群拍，這個裡面用到笑臉識別了，拍群體照片時，一次拍攝多張，這樣就可以把每一張中最好的笑臉圖找出，防止出現某人閉眼的情況，然後拼成一張照片），而remove也是類似，一次拍攝多張照片，這樣就可以自動拼成一張完整的照片了。其實手機中的低照度拍攝和HDR也是利用這種多張照片合成換取最好效果。裡面有一個注意點，千萬不能抖動，否則照片會模糊掉的。因為合成的時候沒有辦法完成合在一起。

為什麼大家都不去看新聞的……而且最不靠譜的居然還排第一……這玩意的原理官方都說了啊：高速連拍加偵測移動物體
具體可看 http://www.eprice.com.tw/mobile/talk/124/4742910/1/

比較贊同Filestorm的說法，之前說Photoshop也推出過類似技術，用戶可以把圖片里的某個物體移動到其他位置，而原位置將會自動被補充出背景圖案。由於這只是一張圖片的處理，所以不會有預攝的視頻來判斷背景圖案，應該只是一步一步迭代空缺區域邊緣的圖案，最終形成一個機器判斷出來的背景。（不過不確定Scalado Remove會不會提供預先拍照的功能，覺得這種做法倒是蠻有意思的，但是要犧牲一定的拍攝時間用於預攝什麼的。）
不過實在不確定這個修補技術能有多少的模擬程度，估計也要根據背景的複雜程度來判斷。

他們的演算法一定更加成熟和複雜,但這個效果其實你自己就可以試著簡單實現.
盡量保持畫面一致,相隔較短時間拍攝3張或以上(多一些的話效果過更好),然後使用Photoshop打開為同一文件的不同圖層(使用merge功能),然後全選這幾張圖片圖層轉換為智能對象,最後在堆疊模式裡面選擇中值疊加就可以看到效果了,不僅能夠降低噪點還能夠消除畫面中的移動的物體或者人物.具體可以看這裡--http://fotomen.cn/2013/06/midstk/
這個效果自己做的話當然是使用腳架更好,但是沒有腳架的話,使用自動對齊功能也能夠做到.
現在的手機通過快速連拍,在經過演算法參考畫面中的主要物體和線條實現對齊以後應用類似中值疊加的技巧(我相信他們一定還有好的多的技巧和演算法)實現這個效果並沒有什麼神秘和困難的,但是實用性和用戶體驗確得到大大的提高.現在很多公司也在利用類似的原理通過手持多張拍攝來實現降噪和多種有趣的效果,據我所知Almalence公司就有提供一款收費的Android APP-- A better Camera來實現以上諸多的功能,有HDR,多張合成降噪夜景,多張合成超級數字ZOOM,消除移動人物等等功能.
這類利用多張拍攝後應用計算攝影學技巧的技術更多的還是考驗演算法和硬體能力,因為手機由於各種延遲,不能使用較高的ISO,數據讀出速度等等問題導致快速全像素輸出有很多時候不能得到非常好的單張圖片,這樣應用各種疊加和演算法後就會很困難並且輸出圖片有模糊和各種artifacts.

可以參見論文：Image Completion with Structure Propagation (Google 之可以下載），就是把去除掉的圖像看做一個隨機馬爾科夫場，根據周邊區域的圖像進行需要填充圖像的推理。

Photoshop里有這個功能：【堆棧】【Stack】，幫助文件里描述了相關用法。http://helpx.adobe.com/cn/photoshop/using/image-stacks-photoshop-extended.html

從Photoshop對【堆棧】的描述和應用來看，應該是用多張圖像的同一位置的像素進行統計處理。

【中間值】就是統計學中的用法：將數值升序或降序排列，如果是奇數個數，就選排在中間的，如果是偶數個數，就將排在中間的兩個數值平均。

例如【1，，5，5，5，5，5，5，5，，9】這樣的數列，中間值就是【5】。對於照片，活動的對象就是上面所舉數列中的【1】和【9】這樣的偏性很大的數值，靜止背景就是【5】，所以經過取【中間值】處理，【1】和【9】就無效了，有效的只有【5】。

實際上就是移除背景的一種平民化操作。如果你那個單反在風景地拍照，然後場景裡面有很多人走來走去，怎麼才能把這些人去掉，拍出一張乾乾淨淨的風景照呢？方法就是多拍幾張甚至10幾張，然後放到Photoshop裡面去處理。現在這個手機拍照技術，只不過把這個過程自動化了。

其實這之前，我是以為是先預拍攝一段視頻，然後監控視頻上哪些物體是移動的哪些是靜止的...然後按下快門的時候，進行剔除移動的那些物體...同時用不動的那一部分背景來填充...

不太清楚這個remove功能的實現機制，但之前和Scalado有過合作，基本上他們在android上的實現思路是和高通深度合作，在底層做優化，實現全尺寸高速連拍，以支撐諸如連拍、全景、3D拍照等諸多功能。個人猜測remove也可以用類似的機制實現（如以足夠高速的連拍進行照片對比計算），Scalado的優勢其實不在圖片演算法上。
@鄧文博提到的固定物體無法實現，在一定程度上驗證了這個可能

Lumia智能拍攝。後來歸入Lumia專業拍攝。