除了綠幕之外還有哪些摳像技術？

12-18

製作時需要在人物或建筑後加入虛擬物體，影片中要乾淨扣除邊緣，除了用綠幕藍幕之外，有沒有技術可實現？（保持邊緣色異於背景色這種事我知道）

熊飛凡和喬樂的答案都已經回答了，我補充一些內容。

Keying/Matting一般指翻譯為摳像，可以算作分離前景和背景元素的一種操作（得到需要的前景物體的遮罩/Matte/Mask）。最早的時候可以通過多重曝光、手繪和洗印工藝來手工完成。在計算機合成興起以後，主要就是依靠計算機合成軟體來進行了，比較有名的技術有色鍵、色相鍵、亮度鍵、差分鍵等等，相應的也有應用其中某幾個技術形成的插件/軟體，比如Primatte、Ultimatte和Keylight及軟體內置的一般的Keyer。

如果以藍幕/綠幕技術來看，其實他們和洗印工藝是有關係的，通過化學手段可以得到藍幕的摳像結果，這也就是Ultimatte的技術原理，原始演算法如下。由於演算法很簡單，Ultimatte是世界上第一個實時的摳像程序，使用類似演算法的還有Keylight。

$if(R<G) E=B-G\ if(R>G) E=R-B$

隨著計算機運算力和圖像處理研究的發展，Keying成為了一個研究領域，並有更複雜且效果更好的的演算法出現。基於合成方程，Keying可以被以下方程描述（Matting Problem，其中C合成，F前景，B背景，α透明度）：

$C=alpha F+(1-alpha)B$

當為多色時，為多通道的 $(C_1,C_2,C_3...)$ ，F和B同C。因為缺少參數，這種方程是無法直接求解的，所以Keying一般需要一些限制的條件（減少未知數）、先驗的知識或增加更多的參數。比如，藍幕和綠幕可以使得B能夠直接得到（但是很理想化）。而先驗的知識，比較常見的就是trimap方法，由用戶事先指定前景的大概輪廓和過度區域，Photoshop使用的抽出就屬於這種手段。

簡而言之，其實這些鍵就是利用前背景的不同，使得我們最終可以分離前景和背景。而除了藍幕和綠幕（傳統的色彩差分鍵,Color Difference Keyer）之外還存在很多可以利用的不同。

亮度鍵(Luma Keyer)

運用前景背景的亮度差異進行摳像，比如天空、高亮度反差（黑/白物體）就適合使用這種摳像手段。
$egin{equation} alpha = igg{ egin{array}{lr} 1 quad if quad L_{key} - Tolerance < L_{pixel} < L_{key} + Tolerance \ 0 quad otherwise end{array} end{equation}$

差分鍵（Difference Keyer）

拍攝有前景和背景的畫面，然後在同樣的情況下拍攝單獨背景的畫面，之後通過兩畫面的差得到遮罩從而摳像。基於這種思想，還有利用閃光燈的變法；利用這種手段結合色鍵消除藍幕/綠幕不均勻的摳像（IBK Keyer）;運用運動信息補齊背景後，得到前景(Mokey)。

$alpha=A-B$

色鍵（Chroma Keyer）

利用色彩差異的摳像手段，如在RGB空間中，利用距離公式計算色彩的差異得到遮罩(Color Range)；

$d = sqrt{(A_r-B_r)^2+(A_g-B_g)^2+(A_b-B_b)^2}$

$egin{equation} alpha = igg{ egin{array}{lr} 1 quad if quad d < Tolerance \ d quad if quad Tolerance < d< Tolerance + Softness\ 0 quad if quad Tolerance + Softness < d end{array} end{equation}$

或是其他色彩空間中（HLS、CMYK）利用一些距離手段得到遮罩。這裡有很多的Keyer，比如Color Range、HLS Keyer、Diamond Keyer、Hue Keyer等等。

$egin{equation} alpha = igg{ egin{array}{lr} 1 quad if quad H_{key} - Tolerance < H_{pixel} < H_{key} + Tolerance \ 0 quad otherwise end{array} end{equation}$
Hue Keyer

3D色鍵（3D keyer）

由於各種原因，藍幕/綠幕背景的色彩並不是完全一樣，其會存在亮度、色相、飽和度的差異，因此一般的色鍵和色彩差分鍵並不能很好的得到遮罩；相較於基於RGB空間中某特定距離的簡單色鍵（當使用Tolerance時，可以看作一個3D空間中一個球形的選區），3D keyer使用一個更複雜的圖像，使得選區可以更精確。Primatte使用的就是3D keyer的方法，其比較多的選色過程，就是不斷優化多面體選區的過程。

左下：Chroma Keyer，右下：3D Keyer

雖然色鍵/3D色鍵主要還是應用於藍幕/綠幕，但是其原理是可以用於其他的色彩情況的，比如在森林和天空的鏡頭裡可能會使用紅幕（極少）。

其他

極化光、紅外線（距離信息）、熱成像、運動信息（光流）、光場（距離信息）等都可以應用於摳像。除此之外，用戶輸入（少量）的方法是研究的主要熱點，隨著研究的進步，用戶輸入已經接近一般的鍵方法，且效果已經超越傳統鍵方法。但是這裡列舉的方法，都並未被廣泛使用，因為方法的計算量都太大或是需要額外的設備。不過還是可以做做夢的。目前，我比較看好基於DL的方法（The Foundry已經在Roto流程中引入DL輔助了）。

Information-flow matting的測試結果

大部分Matting方法的測試排名。十年前很出名的Bayesian Matting和Poisson Matting都已經到最末了，Closed-Form Matting也在尾巴了。可惜的是由於計算量問題，目前僅有少數軟體具有類似的Natural Image Matting的功能實現，如After Effect和Silhouette。

比較適合用於Matting處理的一個方法是Guided filter，計算量小，但是效果可以接近Closed-Form Matting（是一種近似）。我在Nuke中實現了該演算法，用於內部項目。上圖左素材，中Primatte處理、右Primatte+Guided filter處理。

人工處理

實在摳不了，或摳還不夠的情況下，只能夠是人工Roto和細修（多個Keyer和Matte組合）了。部分的好萊塢A級電影項目，會要求幾乎沒有像素損失（1px也不行），甚至要求RGB通道分量和噪點都要和原素材一致。在進行項目時，會有專門的特效指導進行這種技術檢查。由於這些要求，Keying還是比較費時費力的，甚至是某些合成師的主要工作。毛髮、高速運動的物體、不幹凈的背景（幕布不均、打光不均、跟蹤標記、閃爍）、虛化、過暗/過亮都會使摳像不是取個色就完成的工作。也因此，由於成本的控制，前期拍攝的問題，一般的國產電影和電視劇里出現痕迹就是很司空見慣的事了。

參考資料

Art of Keying
Digital Visual Effects
alpha Matting Evaluation Website

小廣告

Project Hepesu Animation Toolkits [at] Nuke (Project HAT [at] Nuke) 是一個用於2D動畫合成的Nuke工具集合，包含PSOFT及OLM公司商業/內部插件的Nuke近似實現，可以用於日式2D動畫的合成處理。其也包含前文提到的Guided filter的實現，公開版插件將於近期發布。

(演示素材PSOFT，演示中的效果是色著色)

說一下有點偏題的吧，13年剛畢業的時候進了一家影視後期製作公司，工作內容主要是用AE和PS進行Roto，當年還是萌新的我被折磨的死去活來，快過年了還沒放假還在扣，印象最深的是《冰封俠》，甄子丹和王寶強他們在橋上打鬥的場面是我們負責扣像，當時記得大橋的場景好像是在一個大船上還是哪搭出來的，橋欄的外面全是綠布，最痛苦的是扣橋欄上的繩子，還有就是人物的毛髮，劇中甄子丹長發飄飄，在橋上騎著駿馬賓士，那匹馬的鬃毛和馬尾巴扣的我差點要辭職，導演打回來N次，然後繼續用各種方法扣出來了，畫的Mask看的都眼暈，還有就是黃聖依從汽車邊的鏡頭，汽車玻璃透過綠布，這個直接是交給廣東的同事去做了我們這邊的萌新就沒繼續做下去了，在做電視劇的時候扣像就沒有電視那麼嚴謹了，因為他的畫質也沒電影高，Mask的時候比較費眼力，這時候扣的基本是藍背，蛋疼的是將軍的鎧甲還是有很多藍色裝飾和布料...反正干這個我覺得有點浪費時間和青春，後來轉剪輯了，但那段時間打下的基礎和對我的毅力有著無比的幫助！

摳像有很多方法，除了所謂綠布的色差摳像之外，還有亮度摳像等等，再不行就用Roto的方式直接摳出來，總之摳像不是什麼大問題，即使不用任何前期設計，交給摳像部門，現在的技術什麼鏡頭都能摳出來。按照你說的拍攝內容，估計一下，最好的是用虛擬攝影機，也就是把要拍攝的場景空間在軟體裡面精確掃描重建，然後現實攝影機在綠背景的攝影棚內拍攝人物，拍攝時綁定虛擬攝影機，這樣拍完人物就已經合成在背景上了。同時因為是三維的場景，你想在什麼地方添加什麼東西都可以。
接下來還是分析一下摳像這門技術吧。應該說從電影誕生還是一門雜耍項目的時候，大家為了添樂子，在膠片上面搞各種各樣的實驗的時候就有各種各樣的摳像了。比如老早的美國電影火車大劫案，上面有些人的衣服上了一些彩色，這都是電影工作者在後期一格一格給黑白膠片上的顏色，這也應該算是摳像，當然還有電影魔術大師梅里愛各種最早期的科幻電影，各種最簡陋的特技都包括了摳像。可以說正是因為電影畫面並不是一個真正意義上的連續畫面，而是一個每秒24格膠片連續播放的視覺效果，才使摳像成為了可能。無論是手動給膠片上色，還是用軟體進行色差，亮度差還是一格一格Roto等等的摳像，電影的幀率都是很重要的，每秒24幀，每秒摳24張圖像。當然，今天數字化一切都在改變，李安導演的最新電影就需要每秒摳120格畫面。但摳像的基本原理還是和100年前的工作一樣，一格一格ps圖片。
然後就說說摳像的方法。其實只要能把需要分離的部分分離開，將原畫面通過軟體，將它變成一個帶通道能分層的文件，也就是能留下你想要的影像，去掉或改變你想去掉或改變的內容，這個工作就是摳像了。摳像不在乎用什麼方法，只要能分離畫面中的內容。通過實踐，得出比較常用的摳像方法，就是色差摳像方法。我簡單說一下。電腦能很精確的識別圖像中的顏色，這是色差摳像的前提。紅綠藍青品黃，還有底片上的鹵化銀顆粒形成的黑色，這就構成了一格膠片上的影像。數字的成像原理基本也是這樣，所以當電腦能夠精確的識別一個像素上的顏色的時候，色差摳像就變得可能了。很簡單，用滑鼠點擊軟體，命令將圖像中的所有綠色去掉，形成一個透明的通道，摳像就完成了。這就是色差摳像。要注意，是將畫面中的全部綠色去掉，如果其他部分也有綠色那不也被摳掉，變成透明了嗎？比如說不想去掉的部分也有綠色怎麼辦？所以色差摳像在拍攝的時候還是有一些講究的。我們一說摳像就想到綠色背景和藍色背景，其實任何一種顏色都可以進行色差摳像。比如說阿凡達，他是藍色的人啊！要把他從背景中用色差分離出來，背景就不能用藍色，最好的是用藍色的補色黃色做背景，這樣電腦會很清楚的識別哪個像素是阿凡達身上的藍色，哪個像素是背景上的黃色。特技鏡頭拍攝為什麼要用綠色呢？因為很簡單我們摳像基本都在摳人，人的膚色都是發品色的，特別是白種人，所以品色的補色是綠色，電腦能很清楚的識別品色和綠色之間的差別，所以在拍電影的時候，人的背後都是綠色背景。為什麼用藍色背景呢？剛剛說阿凡達的時候已經說過了，藍色的補色是黃色，東方人臉上除了品色外也有黃色，所以拍人物的摳像，要用藍色背景。總的來說，因為人的膚色偏品色和黃色，所以經常用綠色和藍色作為背景進行色差摳像。當然還有另外一種情況，就是外景和內景。外景多用綠布，不用藍布，原因是晴天天上的藍色映在被摳像的物體上會形成藍色的像素，比如說一些鏡面反射的物體，眼睛，水面等等，用藍布做背景顯然不方便摳像。即使不是鏡面反射的人的皮膚，在藍天下依然會反射很多藍色像素，在後期摳像中會和背景的藍色一起被摳掉，人的皮膚就會被摳的千瘡百孔。點擊去掉綠色像素的時候，不會把演員臉上的藍色像素也一起去掉。所以外景一般選用綠色背景進行摳像。
說到這，最簡單的色差摳像原則就已經很明顯了。這個原則涉及很多個劇組部門，服裝，化妝，道具，制景，燈光，攝影等等。簡單說一下這些原則。以綠背景下，用色差摳像為例。在拍攝時，綠背景前，服裝部門不能選用帶綠色的服裝和裝飾物，比如綠色或偏綠色的絲帶等;化妝部門減少使用或者不用綠色或偏綠色的化妝品，比如說綠色的指甲，綠色的眼影等;道具不能擺綠色或偏綠色的道具，比如說綠色的植物，這簡直就是摳像的大忌。順便說一下，拍攝樹林戲摳像時，為了同時照顧植物和人的摳像，用藍背景就可以了。制景部門就不用說了，你不會在綠色背景前搭建一個綠色的房子，然後說要摳像吧，連建築上面的所有綠色都應該去掉。燈光部門這裡要仔細說說，綠色背景只要有光就能摳像，其實不對。如果背景綠布不夠亮度，綠色被其他顏色影響，或者不夠亮，在影像上面顯示不出足夠的綠色像素，這會影響後期摳像。所以，燈光部門要注意，1，在布光的時候，綠布要單獨給燈，不能和其它場景的燈光混合使用燈具。而且要打均勻，不能有光區的出現。2，綠背景的亮度應該在這個鏡頭拍攝時攝影機設定的曝光點上，否則綠背景的綠色依然不夠純，不方便後期摳像。3，綠背景應該離開被攝物5米以上的距離。這個要依照現場拍攝的景別來定。主要是為了不讓綠背景的綠色反射在被攝物上，比如說人臉離綠布太近就會反綠色，不方便摳像。如果是全景，或者前景有反射率強的物體，這個距離就需要增加。這往往會影響到美術制景時選擇攝影棚的大小，除了制景的面積，美術部門還應該考慮綠布到景物之間的距離，如果選擇攝影棚小了，就沒有位置搭綠背景了和打光了。在綠背景摳像的時候，攝影部門要注意的東西也很多，但主要是各種經驗，除了上面說的綠背景的亮度應該放在曝光點上之外，比如攝影機在運動中進光了，綠背景就會很模糊，基本不顯示綠色了，需要把進光遮擋掉。別小看這幾秒鐘的進光，前景的人完全和綠背景融合在了一起，基本上色差摳像就不可能了，這樣會增加很多的製作時間和預算。比如很多mv導演都喜歡鏡頭進光的效果，很詩意，攝影師抱著攝影機對著光就拍，但忽略了這是需要摳像合成的鏡頭，綠背景看不清楚了，失去了色差摳像的意義，增加了製作時間和成本。如果又要摳像合成，又要進光的效果，我會建議導演用後期的方法，在已經摳像合成好的畫面上加進光的特效，現在的數字調色功能可是很強大的。
還有很多都是經驗，特殊情況特殊對待。電影摳像技術就和電影其他技術一樣，是從電影誕生就具有並被研究的技術，有100多年的技術積累。在今天各位電影工作者和愛好者都應該多了解，多普及。

用通道摳圖

謝邀，就我對相關技術有限的認知來看，基本上就是綠屏技術，當然在我看藍屏也是一樣的道理。

除了綠（藍）幕扣像，其他的都是瞎折騰。
別疑惑了，就是這種扣像最低成本最快捷了。

十字貼片追蹤

power matte逐幀反差摳像。前提是圖形不複雜，而且要有耐心。

扣像的難點不在於分離出拍攝對象，而是融合邊緣。
拍攝時綠幕、藍幕與以後要合成的背景亮度不可能一致，後期大部分時間，要將前景邊緣，調和成與背景亮度、色相融合。
無論採用哪種方法，解決不了這個問題，效率都不會得到太大改變。最耗時的部分沒有解決

還有雇幾個技術屌絲LEISIRENBUCHANGMING手動摳像法

傻瓜模式：靜態ps一像素一像素摳，動態ae一幀幀摳

還有mocha啊這種摳電線杆威亞神器沒人說

美圖秀秀

鋼筆工具爆肝技術

有藍綠幕當然好了，不過國內的藍綠幕基本都不怎麼乾淨，也可以用 keyer進行明度摳像，如果都不行，大兄弟，就用roto吧，摳哭了你

用藍綠幕當然最好了，方便快捷、而且還能保證摳像質量。摳像技術都是圍繞邊緣與背景的某種展開的，這種差異包括色相（藍綠幕），飽和度，亮度等。後兩者雖然能扣，但質量和效率沒法與前者比較，而且還有太多的不確定因素，例如：這幾幀被扣對象與背景相比，飽和度、色相比較明顯，受光線，透視等影響那下幾幀情況可能就不一樣了。