電影虛擬拍攝技術發展探析

一、歷史起源

電影的虛擬拍攝技術也是有一個發展脈絡可以追尋的，通過歷史和計算機技術的發展，來了解一下電影虛擬攝影的由來。

第二次世界大戰後1947年至1991年，以美國、北約為首的資本主義集團，與以蘇聯和華約為首的社會主義集團之間在政治、軍事領域分歧和衝突嚴重，但雙方都儘力避免世界範圍的大規模戰爭爆發，其對抗通常通過局部代理人戰爭、科技和軍備競賽、外交競爭等「冷」方式進行，這一階段稱為冷戰時期。也正是這種大背景下，一些國家基於國防的需求，投入大量人力物力來研發模擬戰爭爆發時戰場的戰況，作為實兵戰術演練的參考，需求推動了虛擬技術的進入了我們的世界。

虛擬技術的發展與計算機技術的進步歷程密不可分，在二十世紀四、五十年代計算機處於大型機階段，到六、七十年代逐漸向小型計算機轉化。受控於硬體、軟體和人才基數的制約，此階段的發展較為緩慢。1969年UNIX操作系統出現，當時的計算機非常昂貴，UNIX系統的開發也是基於這個背景之下，它支持多用戶同時使用同一台計算機，通過安全級別讓不同的用戶訪問各自的數據和程序；同時它也支持多任務在前後台執行多個程序。這個時代能使用計算機絕對是高大上的事情。

1975年微軟成立，之後發展出Windows操作系統；1976年蘋果公司成立，使用蘋果自己的System x.xx/Mac OS操作系統；1981年IBM推出IBM-PC，PC是Personal Computer的縮寫，直譯為『個人電腦』它大大的簡化了硬體構架，定位面向了普通的大眾，此時由於操作系統的發展還處於DOS階段，普及的速度還很慢（見配圖Dos）.

1982年美國SGI公司成立，我們對這個名字很陌生，來看看基於它完成的電影就知道它離我們很近了，「侏羅紀公園」、「泰坦尼克」、「玩具總動員」、「指環王」等等都與它有著密切的聯繫。 1995年SGI併購了Alias Wavefront公司，這個就是現在響噹噹MAYA軟體的前身。1991年微軟公司推出了Windows3.0多語言版本操作系統，為在非英語國家的推廣做好了鋪墊，幾年後推出Win95(見配圖win95),實現了真正意義上的圖形操作界面，計算機發展駛入快車道。

二十世紀末期，基於計算機的發展，軍事領域的科技發展迅速，計算機模擬戰況進展的技術也得到長足進步。有科普文章介紹九十年代中後期，兩台SGI公司的Onyx頂級工作站就可以模擬1991年的第一次海灣戰爭了。雖不能考證說法的準確性，但可以間接說明計算機的發展已經到了一個很高的水平了。1991年蘇聯解體，以美國為首的資本主義集團獲得勝利，而宣告冷戰結束。虛擬技術逐步從軍事領域向商業應用領域轉移和發展。

二、虛擬技術的應用開端

從應用的時間和普及上看，電視的應用要早於電影。

1978年，Eugene L.提出了「電子布景」（Electronic Studio Setting）的概念，指出未來的節目製作可以在只有人員和攝像機的空演播室內完成，其餘布景和道具都由電子系統產生。

在 1992年以後虛擬演播室技術真正走向了實用。作為數字演播室發展新技術，虛擬演播室技術已成為了當今數字電視演播室新技術的熱點。在1994年IBC展覽會上虛擬演播室技術首次亮像，並在各種電視轉播中得以實現。

虛擬演播室系統（The Virtual Studio System，簡稱VSS）是近年來隨著計算機技術飛速發展和色鍵技術不斷改進而出現的一種新的電視節目製作系統。

在虛擬演播室系統中，攝影機拍攝時的位置信息和拍攝內容，實時傳送到虛擬系統內，畫面背景的藍或綠，通過色鍵摳像技術被清除，替換上提前製作好的虛擬三維空間模型，畫面拍攝的主持人或演員與三維的虛擬場景合併成一個新畫面，新合成好的視頻可以實時的顯示在電視上。這種現實並不存在的虛擬場景環境，最終與實拍的人物無縫的融合起來的畫面技術，讓虛擬演播室成為了現實。

目前世界上有數十家公司已開發或正在開發這一全新的電視節目製作系統。如美國E&&S公司的Minset、加拿大Discreet（後來被Autodesk收購）、Logic公司的Vapour以及以色列RT-SET公司的Larus虛擬演播室系統等，另外，Accom、BBC、Trinity、ORAD、Radamec等公司也有虛擬演播室系統面世。當前感測器技術的發展也是相當火熱,投資和研發的力度很大,這對虛擬拍攝技術的發展都有直接促進的作用。

三、虛擬技術的廣泛應用電視先於電影

虛擬攝影技術用於商業，是先從電視領域開始的。

電視直播技術的發展，把先製作在播出的流程打破了。時間效率成為各電視台競爭能力的體現，這直接推動了電視領域技術的革命——虛擬演播室出現了。

虛擬演播室的技術原理：

虛擬演播室在傳統的演播室基礎上，背景搭建藍色或綠色背景牆/背景箱；其中一路信號由攝影機拍攝主持人，另一路信號通過使用實時摳像技術去掉藍/綠背景，用提前製作好的虛擬背景畫面進行替換，計算機實時生成兩路信號的合成圖像後進行播出。

初始階段拍攝的畫面是固定不動的, 只是把背景藍/綠扣掉,換提前製作好的背景畫面即可，這樣的好處是：計算機運算量少，速度快，不易出錯；不足是：畫面內容單一，沒有運動的變化，不豐富。隨著顯卡、CPU等硬體性能的提升，和跟蹤技術的嵌入，運動畫面的拍攝在虛擬演播室的應用變得越來越普遍了。

虛擬演播室的跟蹤技術：

電視區別電影的不同之處是時效性非常強，尤其新聞直播類節目，為了保證直播的安全係數，從技術上採取二種或以上的方案同時使用，確保信號的穩定和流暢。在虛擬演播室跟蹤技術上也是同樣。這裡介紹三種常用的跟蹤技術——A.網格背景跟蹤；B.機械感測跟蹤；C.紅外跟蹤（CamTrack）。這三種方式在很多演播室中都同時使用其中的兩種，或全部使用。

A.網格背景跟蹤——是基於二維的X、Y平面系統來進行工作的，對於攝影機在水平和垂直的輕微移動進行實時的運算，在拍攝時保持與背景的平行關係，進行小範圍的的平行移動還是能夠應付的。由於這種方式對深度的Z軸不進行運算，所以對縱深的透視變化也是起不到作用的。

B.機械感測跟蹤——通過固定在雲台、鏡頭上的精密齒輪的運動距離和圈數，來讀取鏡頭和雲台上的數據來進行跟蹤的方式。它的特長是拍攝固定鏡頭，當這些數據測量精準後可以連續長時間穩定的工作，受環境影響很小；不足是位置稍有變化，所有的參數都要重新調整；對於機械方式的移動研發也在進行中，期待成熟。

C.紅外跟蹤——攝影機上有紅外發射器，通過環境里的紅外攝像頭來捕捉運動中的攝影機，這裡配合網格跟蹤X、Y的方式，紅外只對縱深的Z軸數據進行運算，雙方配合後計算出攝影機實時的移動位置，來進行跟蹤定位。這個方式也要受到背景網格的限制，運動的範圍不能太大。

通過上面的三種跟蹤方式，在應付電視級別的虛擬演播室，目前技術已經比較成熟，相對的費用不高，製作的質量也能夠得到保證，很利於普及推廣。

通過記者網的數據，可以窺探下中國電視台的數量和龐大的觀眾群——截至2007年1月1日,我國有無線電視台296座,有線電視台1300家,教育電視台1000多家,企業有線電視台數百家,目前中國電視台總數大致是4000多家，都是經過國家廣電總局或教育部正式批准的。中國電視台總數為日本的22倍、美國的3倍以上，中國電視台數、頻道數量、電視觀眾數量均居世界第一。

如此龐大的電視台基數和受眾，使得電視虛擬拍攝技術有了發展的良好平台，虛擬技術各檔次的應用，也會被不同級別的電視台所選用，電視的虛擬技術發展也會隨著電視平板技術的發展而逐步進入精細化，以此來滿足電視轉播信號的高清化和觀看尺寸的越來越大化。

四、電影虛擬拍攝技術

電影虛擬拍攝的發展也是經過了自身的積累和電視領域的鋪墊開始上路的。

電影虛擬拍攝技術運用的時間也是較早的，但使用的範圍很小。1990年代初期好萊塢就有使用虛擬技術來製作動態故事板的，也就是目前應用較多的動態預覽（Previz）。1997年12月19日美國上映《泰坦尼克》（我國1998年4月份上映）， 其後1999年《黑客帝國Matrix》、2003年5月和11月《黑客帝國2》、《黑客帝國3》,2007年開始的《變形金剛1》及續集，這些里程碑式的影片都對虛擬技術做了很好的應用和宣傳，尤其對Motion Capture和Motion Control的使用，可以說到了很高的高度。

《阿凡達》2009年12月16日北美公映，她的空前成功和潘多拉星球帶給觀眾美輪美奐的感受，使得虛擬拍攝技術被公眾開始熟悉。尤其是在綠色影棚里，導演可以直接看到想像中的監視器畫面，而不是傳統的綠背景監視器畫面，而使得耳目一新。

這麼直觀而神奇的畫面是如何實現的呢？我們來嘗試了解她是如何展現這種神奇畫面的。

電影虛擬拍攝主要有以下幾個大的部分：

1.空間及設備匹配——

1a.空間匹配:

《阿凡達》的潘多拉星球是想像中的，現實中是拍攝不到的，這裡我們就要有一個想像的虛擬空間，而演員的真實表演是在攝影棚里完成的，這個是現實空間，看得到摸得著，這兩個空間需要進行匹配。演員表演是在綠色背景的攝影棚里進行，這個棚的空間大小是現實固定的，我們就以這個空間為基礎，來讓虛擬空間與之匹配。

現實空間如設定為30x40(長x寬)=1200平米，高為8米的空間,同樣需要建立一個同尺寸的虛擬空間，這裡有兩個概念需要執行——零平面和原點，零平面就是兩個空間的水平地面需要保持一致，相當於我們的地面；在三維軟體中xyz軸坐標空間的零點位置是原點初始位置，我們引用到這裡來保持兩個空間的坐標係為統一，我們先在現實空間里確定好零點初始位置，這個點可以不在攝影棚的正中心，但一定要在零平面上，以保證演員能夠真實的站在虛擬空間的地面上。

虛擬空間和實際影棚空間匹配鎖定——

現實空間的原點初始位置設定後，需要做好標記，並一直保留它。為更精確的匹配空間的位置，可使用全站儀（即全站型電子測距儀【Electronic Total Station】（見配圖）在現實空間的明顯位置打點記錄精確位置信息，這些點對準確的對位虛擬空間有很重要的參考作用。當虛擬空間和現實空間的零平面、原點及參考點位保持一致後，進行空間鎖定，此時兩個地面和空間都完全相同，並重合在一起了。

1b.攝影機運動的空間定位（跟蹤系統）——

兩個空間匹配鎖定後，就要設置現實攝影機在攝影棚內移動的跟蹤系統，目的是把現實攝影機運動的軌跡進行捕捉，並與虛擬攝影機進行實時匹配，同時把兩路信號合成進行輸出，顯示在導演監視器上。

空間定位需要坐標軸上有三個點的位置信息，之前我們已經設定了初始原點和水平地面，攝影機的位置也方便測得，第三個點理論上可以在鎖定空間中任意位置，前提是不能妨礙拍攝的進行，經過實際工作的檢驗，目前放在天棚的方式被大家所接受。由於攝影機需要在匹配的空間中進行運動，所以在運動範圍內的天棚上要進行整個平面的點位設置，這個點就相當於二維碼，作用就是無論攝影機運動到哪個位置，都有相應唯一對應的點位信息（見配圖）。

攝影機機身的上方安裝一個小的光學攝影機，鏡頭朝向天棚，專門用於撲捉天棚平面的二維碼點信息，鏡頭內同時有三個以上的可用點位信息時，系統就進入有效工作狀態。

當攝影機運動時，虛擬系統有初始原點、天棚平面上的二維碼點位信息，當第三點的攝影機無論運動到空間的任何位置，只要位置信息傳回，系統就即時得到了它在空間的精確位置，並記錄下實時運動的軌跡。

為了跟蹤的準確，在這個環節上使用了幾種不同的技術——

光學感測技術：拍攝天棚平面二維碼的小攝影機，它使用的是光學感測跟蹤技術；對現場光線有要求，需要在拍攝區域內清晰的捕捉到三個以上的二維碼點位信息，傳回系統把二維碼轉換成空間位置數據，來準確定位攝影機運動到達的位置。優點是非接觸式測量、傳輸快、可遙控，缺點是攝影機上方不能被遮擋。在上方被遮擋的特殊場景拍攝時，也可以把跟蹤的二維碼平面設置到地面，或側立面上，目的是可以捕捉到二維碼，來跟蹤攝影機的移動。

慣性感測器：是一種敏感裝置，應用慣性原理和測量技術，檢測和測量載體運動的加速度、姿態、傾斜、衝擊、振動和旋轉的感測器。這裡的載體就是攝影機，慣性感測器固定在攝影機的機身，攝影機有任何動態的改變，感測器都會把變化的數據實時的傳回計算機系統。

慣性感測器一般由加速度感測計、角速度感測器（陀螺）以及它們的單、雙、三軸組合IMU（慣性測量單元）等組成，外形是一個方形的盒子（見配圖）。它廣泛應用於工業、汽車導航、軍工、航天領域等等，它在影棚的優點是不擔心遮擋，性能穩定。

光學和慣性技術配合攝影機鏡頭標定（設備匹配章節會講到）使用到的機械感測技術，配合全站儀點位坐標信息，和拍攝場景中的標誌點設置，基本構成了目前電影虛擬拍攝的跟蹤系統架構。經過實踐的積累和探索，發現超聲波感測技術可以在跟蹤環節發揮作用，下面共享一下我的思考，望能拋磚引玉。

超聲波感測器：

超聲波感測器——人們能聽到聲音是由於物體振動產生的，它的頻率在20赫茲-20K赫茲範圍內，超過20K赫茲稱為超聲波，低於20赫茲的稱為次聲波。超聲波是由換能晶片在電壓的激勵下發生振動產生的，是一種在彈性介質中的機械振蕩，有兩種形式：橫向振蕩（橫波）及縱向振蕩（縱波），在實際應用中根據不同的需要來決定採用橫波或縱波（見配圖）。

單體超聲波發射器的發射範圍是有限的，我們在攝影棚的天棚水平面上，根據發射範圍進行網格狀平鋪方式設置超聲波發射點，虛擬攝影棚會在天棚平面設置光學的二維碼點圖標，超聲波發射器就在二維碼點一側放置即可（見配圖），圖示中網格中每個相焦點就是放置超聲波發射器的位置，同時在攝影機上放置接收信號設備，這樣就與光學感測方式並列工作了。當光學方式被遮擋，就可以用超聲波方式單獨進行工作，待光學撲捉到有效二維碼點坐標信息時恢復，二路信號並行工作。這樣就不需要重新設置光學二維碼點平面，保證拍攝質量的同時，節省時間提高效率。

超聲波具有頻率高、波長短、繞射現象小，特別是方向性好、能夠成為射線而定向傳播等特點，同時對液體、固體的穿透本領很大，尤其是在陽光下不透明的固體中，它可穿透幾十米的深度。這些優點對於攝影棚內燈光等攝影器材的遮擋，夠不成障礙，能夠很好發揮超聲波的特性，精確撲捉攝影機在空間位置運動的信息。

超聲波技術在跟蹤系統的擴展應用——

在攝影棚空間內，我們有了、初始原點和天棚平面上的二維碼點位信息，可以精確的撲捉到了攝影機的移動。當我們把攝影機固定在三角架上，即攝影機本身不做移動，只做90度從左到右的平搖，這種情況下跟蹤系統在慣性感測器的作用下會檢測到攝影機的輕微運動，但水平地面、初始原點和天棚平面檢測不到這90度的平搖......

基於這種情況下，我們可以使用超聲波方向性好、不怕遮擋的優點和特性，在攝影棚的牆立面上再設置垂直平面信號發射器，同時在攝影機身上安裝接收器，這樣攝影機在一個點位不動的情況下，根據超聲波接收的信號，就可以精確的記錄攝影機的變化了（見配圖）。目前在電影虛擬拍攝領域還沒有實際的應用範例，希望同行們一起努力，把這個理論轉換成實際應用，提高跟蹤精度，提高效率。

超聲波感測器的組成部分和工作原理——

超聲波感測器主要由四個部分構成：發送器、接收器、控制單元和電源部分。

工作原理——首先通過陶瓷材質的發送器振子（直徑為15mm）振動產生超聲波並向空中幅射。接收器振子接收到超聲波時，會產生相應的機械振動，並轉換為電能量進行輸出。發送器發射的震動波段、接收器是否收到信號及信號的大小判斷，是通過控制單元通過集成電路來實現的。電源部分是使用外部直流電源供給，經內部穩壓電路供給感測器工作（通常採用電壓為DC12V或24V）。

超聲波應用中的問題和相應解決方法——

目前超聲波被廣泛應用在工業、國防、生物醫學等方面，根據應用環境會遇到相應的問題，這裡僅探討在攝影棚里會遇到的問題，並尋找相應的解決方案。

交叉問題——攝影棚的空間比較大，要多個超聲波發射器按照規律進行網格化分布，需布滿整個攝影機運動空間，才能準確的撲捉攝影機的運動，多個發射器同時發射，這樣就會出現交叉問題，而無法獲得正確的測量。

解決方法——可以通過對控制單元進行編碼，對每個感測器發出的信號進行號段分配，讓每個超聲波接收器只接收自己波段內的信號。這個過程類似於信號接收後的再優化，多個信號收集到之後，要進行分析整理，才能轉換成有用的空間位置數據信息。

多次反射——在探測牆角或者類似結構的物體時，聲波經過多次反彈才被感測器接收到，因此接收的探測值並不是真實的距離值。

解決方法——可以通過使用多個按照一定角度排列的超聲波圈來解決。通過探測多個超聲波的返回值，篩選出正確的讀數。另外虛擬攝影棚在搭建藍/綠背景時，為避免燈光影子的影響，可以把牆角和牆面與地面的夾角搭建成弧形，也可以避免超聲波的多次反射問題。

噪音問題—— 超聲波對高頻音敏感，攝影棚周圍的發電車、空調電機、置景時的空氣壓縮機工作等環境噪音會對超聲波的正常工作有一定的干擾，導致感測器接收裝置收到錯誤的信號。

解決方法——可以通過對發射的超聲波進行編碼來解決，比如發射一組長短不同的音波，只有當接收器檢測到相同組合的音波的時候，才進行距離計算。這樣可以有效的避免由於環境噪音所引起的錯誤。這和解決交叉問題的方法類似。

1c.設備匹配：

真實空間和虛擬空間已匹配鎖定，攝影機運動空間追蹤系統也準備到位，下面就是

c1.鏡頭標定（Calibration）——

兩個空間比較好理解——現實拍攝空間和虛擬空間；虛擬拍攝也同時存在兩個攝影機，即現實拍攝的攝影機，另外一個存在於計算機虛擬的場景中；這兩個機器匹配的工作我們稱作鏡頭標定。現實的攝影機鏡頭是由許多不同形狀、大小、材質的鏡片組成，光線通過這些鏡片，最終在相機的感光組件、底片上產生成像。光線經過許多鏡片的折射、反射，所以影像多少會產生一些變形與邊角失光的現象，即使同一個廠家出品的同批次、同型號的鏡頭，也會有細微的差別，而虛擬攝影機只要參數設置相同就會完全一致。

鏡頭標定就是找出現實攝影機鏡頭與虛擬攝影機鏡頭的差別，並進行匹配。目的是現實拍攝的畫面和虛擬場景鏡頭看到的畫面，能夠真實的展現在同一個畫面里。

虛擬攝影機鏡頭是按照設定的標準制定的，不受外界條件及感光組件質量的限制，可以理解為是理想狀態下的符合標準的鏡頭。現實中的鏡頭只能是接近標準，那如何找出與標準的差別，就是鏡頭標定的任務。一般拍攝一部電影需要一組鏡頭，基本配置是五個定焦鏡頭，即18、25、35、50、75，當然也有根據需要配置更多鏡頭組合，包括變焦鏡頭。拍攝中需要的每一個鏡頭都需要提前進行標定，找出各自的差別並錄入系統，與虛擬場景進行配合無誤後，才可以進行正式的拍攝。

當現實攝影機鏡頭進行光圈、快門速度等任何調整，通過機械跟蹤方式，把變化的數據實時傳回計算機，系統根據提前鏡頭標定好的記錄進行數據優化匹配，然後與虛擬攝影機畫面進行合成，現場監視器上就會實時顯示出摳掉藍/綠色背景，更換上預先做好的場景，大家感到神奇的畫面就出現了。

c2.虛擬場景製作及與實際空間匹配——

虛擬拍攝需要提前進行方案設計，要考慮到攝影棚和虛擬的兩個空間，根據目前積累的經驗，演員表演的核心區域範圍，一般是幾十平米的範圍（根據具體情況設定），該範圍內會有大量的中近景及特寫鏡頭出現，演員與環境內的道具有大量的互動接觸，一般此範圍內的場景進行真實的搭建。

虛擬場景的製作是在後期部門進行的，這就要提前與美術置景部門協商好，把表演區域內需要搭建的進行確認，美術部門先出設計效果圖，雙方按照統一的標準分頭進行生產。美術置景部門只搭建核心區的一小部分，後期部門則需要製作虛擬場景的全部，包括核心區。

虛擬場景製作時還是需要把實景搭建部分在電腦里製作出來，精細度可以降低。動態故事版對拍攝的指導非常便捷和直觀，有了虛擬全景模型場景，導演和攝影主創就可以先期的進行劇本故事的梳理和鏡頭語言的提前預演，或視效指導可按劇本提前製作好動態故事版，根據動態鏡頭在與導演等主創進行探討和溝通；同時真實場景的搭建，也可以參考虛擬部分進行優化或改良。

表演區域實景搭建的範圍與虛擬場景的分工，最好有明顯的分割界限，這有利於兩部分的整合。比如分割的部分可以通過走廊、過道、或房間不同的功能區；儘力避免在同一物體上進行分割，比如空曠的地面、地毯、長條桌椅等或類似的物體，這樣可以避免兩個空間內的同一物體因燈光、材質區別，而顯現出畫面被分割或不真實的效果。

虛擬場景製作較普通場景製作，要考慮到與前期實景相互的關聯和前後的承接；要統一兩個空間的距離單位，尺寸顯得尤為重要，虛擬場景的製作要與現場搭建部分物體的尺寸必須與完全一致，才能在合成一個畫面後感覺更真實。

當真實搭建和虛擬場景都完成後，全站儀需要根據二個場景的明顯處進行標記，在真實搭建的場景中設定標記點位，並記錄空間坐標位置，把這些點位數據導入到虛擬場景，找到虛擬場景中與之對應的位置，並鎖定，此時虛擬和真實的兩個核心表演區就重合在一起了。

2.拍攝部分：

2a.攝影棚拍攝——

神奇的畫面展現就是在這個環節——經過了空間匹配、攝影器材標定、虛擬和真實場景的提前製作......做了這麼多的前期準備工作，終於到了拍攝環節。

攝影機對準了真實搭建的小範圍演員表演區，綠色的背景也在取景範圍內，我們把這路拍攝信號稱為原始拍攝信號；電腦里搭建的虛擬場景使用和現實中攝影機相同的鏡頭，它對準的角度和現實影棚攝影機是一致的，因二個空間之前已經匹配並鎖定，統一起來是快速準確的。

原始拍攝信號確定後，就需要進行現場摳像，把背景綠色去掉，讓虛擬場景顯現出來。因二個空間內的物體尺寸標準是相同的，當現實和虛擬場景在一個畫面內時就會感覺到是在同一個空間內。當攝影機運動時，前面提到的各種跟蹤系統就會實時進行追蹤運算，保持二個場景的同步運動，這個神奇的畫面我們稱為合成信號。

攝影機在拍攝運動過程中，現場攝影、燈光等器材經常會進入畫面造成穿幫，給合成畫面帶來影響。在綵排階段，根據攝影機運動的路線，可提前進行遮罩設置，把闖入合成畫面內不需要的設備器材進行遮蔽，這樣使得實景和虛擬場景匹配的更真實。

拍攝過程中即可看到鏡頭合成後的完美視覺效果，在這個背後計算機系統進行了如何的操作呢？前面我們說到了綠色背景摳像後，把虛擬場景匹配到真實場景中來，並把遮擋的器材部分用遮罩屏蔽；當攝影機運動時跟蹤系統進行跟蹤運算，保持二個場景的運動一致；同時還有後台系統進行渲染、合成和色彩的校正等等，保證這些環節的順利進行，即是虛擬拍攝團隊在拍攝現場的工作任務。

真實攝影機拍攝時，根據劇本和場景進行藝術創作時，會利用攝影機的物理特性——焦點和景深進行動態拍攝，虛擬攝影機會根據前期進行的鏡頭標定數據，和真實攝影機光圈、快門設置的情況，來同步自己的參數設置。當原始拍攝信號里的背景變虛時即景深發生變化，虛擬攝影機會同時做出反應，根據現實攝影機參數變化的大小，虛擬場景的景深同步進行調虛，合成畫面信號顯示在監視器時，二路信號畫面的變動是一致的。為操作的便利，無線跟焦器 C-MOTION的使用在拍攝中尤為便利和重要。

兩路信號（實拍信號和合成信號）的合併出現了神奇的畫面，演員不用在努力的憑空想像表演的環境了，曾有人調侃演員是在和空氣表演，其實這樣表演的難度很大，每個人對劇本文字延伸出的畫面差異是巨大的。有了這個神奇的合成畫面，並通過大屏幕展現在拍攝現場，對劇組現場工作人員的工作也更有的放矢。

合成畫面是實時記錄的，導演不用對著綠色的背景畫面進行想像，可根據演員表演的精彩程度，通過回放可直接進行NG，把最精彩的挑選出來使用；剪輯師可以進行現場剪輯，確定使用長度和範圍，相較傳統方式大大的縮短了流程，節省時間和成本。對於電影級別的要求，需要做特技的鏡頭，後期生產也更有針對性。合成畫面讓導演和剪輯能很好的進行取捨，需做特技鏡頭的長度和要求，都更加明確清晰，後期各環節製作時也都因合成畫面的參考，而目的性更強。

原始拍攝信號畫面和合成信號畫面，會同時進行分別的記錄。根據用途的需要，進行不同的使用，比如用於高清電視或記錄片等在小屏幕載體上放映的，合成畫面就可以直接進入剪輯環節，成為最後的成品素材；如果是大屏幕上公映的電影，這就需要合成畫面和記錄的各種數據為參考，在原始拍攝的綠背景素材上進行精雕細琢了。

2b.數據記錄——

數據記錄可以分兩個部分，一個是攝影機拍攝的帶綠色背景的原始拍攝素材，和去掉綠背景合成好帶環境的合成畫面；另一個部分是在拍攝過程中攝影機、鏡頭和計算機系統所有參數變化的記錄。

拍攝畫面的數據記錄在拍攝現場是由DIT部門完成的，這是電影數字革命以來出現的一個新的部門，DIT是Digital Imaging Technician的縮寫，直譯過來的意思是數字影像技術員。相當於傳統膠片時代的膠片保管、運送、沖洗、現場監視、回放等任務，並在此基礎上，基於數字特點工作任務有了新的延伸，比如拍攝前數字畫面技術參數的設定、色域空間的選擇，現場拍攝畫面記錄、備份，以及對剪輯、後期特技、宣發等部門根據需要進行不同素材的提供等等。

現場拍攝時，攝影機和鏡頭的推、拉、搖、移，快門、光圈的變化等等，都會被系統進行實時記錄，其目的就是為後期的製作提供依據，這部分數據的記錄是由虛擬拍攝團隊記錄的。在傳統拍攝綠背景時，後期為獲得攝影機運動軌跡的信息，提前在綠背景上貼上十字的跟蹤點，然後使用跟蹤軟體，在拍攝素材上進行後期跟蹤解算。虛擬拍攝系統把這些數據提前進行記錄，並根據後期需要，分別輸出不同格式來匹配不同軟體的使用，比如分別適合跟蹤、三維、合成等軟體格式，可直接使用在SynthEyes,Boujou,PFTrack,Maya，Nuke等軟體中。這些數據需要根據二個鎖定的空間和全站儀的點位信息，進行細微的修正就可以使用了，這種方式既提高了效率，又提升了質量。

所有正式拍攝的鏡頭，其攝影機、鏡頭和系統參數都會被記錄，但這些數據是在剪輯工作完成後，由虛擬拍攝團隊來提供。數字時代的拍攝已經沒有高昂的膠片費用了，拍攝的片比就比較高，在剪輯工作完成後，根據輸出的EDL列表，虛擬團隊可以根據鏡頭的名稱，只挑選使用的鏡頭進行輸出即可，有效規避無效勞動。

3.後期部分：

3a.影片播放載體決定製作流程——

一般情況下，在影片開拍前，就會明確影片最終播放的載體，以及拍攝、製作流程和質量的要求，虛擬拍攝同樣遵循這個原則。對於後期製作也是根據用途需要，來選擇使用不同的後期製作流程。

比如高清電視電影、記錄片等拍攝在HD1920及以下質量拍攝的，在高清電視、平板電視或會議室投影等載體上放映的，這一質量標準是非常適合使用虛擬拍攝方式的。在高清質量要求下，虛擬拍攝現場合成畫面就摳像質量、物體邊緣處理、鏡頭運動跟蹤精確程度、合成的效果是可以符合標準的，可以直接進入剪輯環節，成為最後的成品素材；對於每日直播電視劇，以及實效要求高的項目，虛擬拍攝可以大大提高效率。

電影是放大的藝術，大屏幕上公映的電影，就需要在原始拍攝素材上進行細緻製作了。在攝影棚現場進行的綠背景摳像、跟蹤和合成的精細程度，有任何瑕疵都會在大屏幕上展現出來，這一類項目就要進入到後期的精細製作環節了。

3b.後期製作到鏡頭完成——

需要後期製作特技的鏡頭，數據分別由兩個部門提供。首先剪輯部門把需要製作的鏡頭輸出一個鏡頭列表，也就是EDL；DIT部門根據EDL找到帶綠色背景的原始拍攝素材，和去掉綠背景合成好虛擬環境的合成畫面，拷貝出來交給後期部門；虛擬團隊也根據EDL找出相對應鏡頭，把拍攝時攝影機光圈、快門等記錄的數據，根據後面的環節需要輸出不同的格式。

兩個部門的數據到位後，需要把製作鏡頭內的兩個場景進行匹配，現實搭建的只是一小部分的演員表演核心區，虛擬製作的是整個全部的場景。為了達到拍攝實時速度的要求，拍攝現場使用的虛擬場景進行了優化和減少模型精度的處理，後期階段沒有實時的限制，模型精度、燈光數量、材質貼圖等精細程度就以畫面效果為重了。

場景匹配後，運動鏡頭就要追蹤攝影機的運動軌跡，跟蹤以拍攝綠背景素材和虛擬團隊提供的參數為基礎，輔助以全站儀打點的定位信息（可在拍攝之前或之後進行，前提是拍攝場景保持和拍攝時相同），如畫面內有提前布置的跟蹤點，也可以進行利用。綜合使用這些信息來修復拍攝時因鏡頭畸變、搖臂抖動、氣溫過低、畫面延遲等等原因，導致的跟蹤抖動或不準確的問題，從而把實拍素材的運動和虛擬場景精準的匹配好。

二個空間運動的精確匹配後，涉及到虛擬拍攝的技術基本就順利完成了。下面就進入常規的數字後期生產了，如三維部分的材質、燈光、貼圖、分層渲染等；合成環節的素材摳像（目前拍攝現場摳像的工程文件還不能分享到後期環節）、二個場景素材分層調整、合成、渲染輸出等，直到這個鏡頭的完美展現，最後納入到成片完成。

五、結論部分——完善與展望

5.1虛擬拍攝還有很多技術點需要繼續研發和拓展

前面提到在電視劇、電視電影這種要求較寬鬆的播放環境下，目前的虛擬技術可以達到直接使用做最終畫面的水準。但在要求更高的電影大屏幕的播放環境下，還經受不住苛刻檢驗，尤其數字拍攝已進入到4K、6K及更高的製作流程後，虛擬技術必須再上新台階才可以展現和發揮其自身的優勢。

這裡提些需拓展的技術點，望同行共同探討完善：

A.二個空間匹配鎖定後探知攝影機的運動——把攝影棚地面和天棚四角頂點設定為空間的八個點位，來確定為攝影棚的真實空間，並和虛擬場景空間進行匹配鎖定，通過在攝影機機身設置一感應裝置，與這八個點位進行關聯，能感知到在鎖定空間的位置。通過這個方式與系統原有跟蹤方式同步工作，相輔相成避免運動信息丟失，提高追蹤精度。

B.超聲波跟蹤技術作為測距應用已被廣泛採用，在影視領域應積極開發與攝影器材的對接軟體編寫，協同拍攝和後期環節，做到解決實際問題併流暢應用，望能早日應用到虛擬拍攝的實際中來。目前已經有利用超聲波測距技術進入到拍攝時的對焦環節，圖中上方二個小喇叭形狀類似望遠鏡的物體就是對焦點使用的超聲波測距儀（見附圖），目前市面上已有的兩款超聲波測距儀還存在一定的局限性，也在緊張的進行開發階段。

C.電影拍攝和播放的速率是每秒24幀，目前的虛擬拍攝系統會有2到8幀左右的延遲，在動作較快的鏡頭裡就會出現問題，需要優化演算法和提升速度，讓系統能應付每秒72或120幀的速率，就可以輕鬆應付正常24幀速率，實現流暢的實時或超實時。也可以擔負升格拍攝任務，如每秒36、48、72、120幀速率的工作，都可納入到它的範圍內就很理想了，當然也需要硬體速度的提升作為保障。目前電影攝影機的發展也都在研發提高升格拍攝的能力，如虛擬拍攝也能跟上這個步伐豈不是更完美。

D.交互需要更真實，搭建演員表演核心區目的是規避不真實感，但不能逃避這個問題。二個空間匹配鎖定後，讓演員真實的站在虛擬地面上不難，但如何讓演員行走、跳躍、爬樓梯在虛擬空間里更真實，就要前期拍攝和後期製作的共同努力了。

E.綠屏前拍攝的真實演員，與CG角色互動的真實性，仍然是努力的領域，影片精彩程度與表演息息相關，這個環節的提升會有直接的體現。虛擬拍攝演員不用在對著空氣表演，虛擬角色可以通過人來扮演，利用Motion Capture把動作通過Motion Builder導入到虛擬拍攝系統，通過現場大屏幕進行實時監視。如能在同時協調使用運動控制系統（Motion Control），參與制作，就能製作出更為複雜和更有想像力的鏡頭，為實現靈動的創意鏡頭提供實現的平台。這個流程已經被一些影片所使用，但國內還處於初始階段，需要多通過實踐來提升質量。

Motion Capture 技術也在不斷的進步，硬體成本越來越低，以前動輒百萬級別的設備，目前也都到了十萬人民幣的親民區間，對交互性的技術細節也有很大的提升，比如真實演員與物體有觸碰交互，腳部特寫上下台階的交互感也都更加接近真實，這些進展都會直接推動虛擬技術的進步。

F.虛擬拍攝遇到水面反射問題，小範圍水面可以在攝影棚搭建出來，在拍攝時演員及環境都會映射在水面上，尤其攝影棚的天棚、攝影機的搖臂、燈光片等等都會如實反映，這些問題可以在設計場景時進行規避，如避免不了，一定要想好解決方案在拍，不能莽撞。

G.虛擬場景製作過程中，需要使用系統自己的shader材質球，還不能與Maya,3Dmax等三維軟體通用，在拍攝現場調入虛擬場景對精細度的限制、以及材質鏈接丟失，需要反覆確認等問題都需要在不斷實踐中得以完善和發展。

還有很多的技術點需要大家共同的努力，找出不足，尋找解決方案，完善電影虛擬拍攝的流程，讓虛擬拍攝在電影領域承擔更多的任務，有更好的發展。

5.2未來展望

電影虛擬拍攝雖有不少技術點需要完善和改進，但她發展的趨勢已經確立，並會隨著國內電影上升的趨勢而得到不斷發展。好萊塢大片的帶動效應，使得越來越多的國內導演和電影製作人認識和接觸該領域，並在創作中使用這個新技術。

虛擬拍攝素材庫——

世界名勝古迹、人文歷史遺迹、自然風光......早已成為電影畫面的常客，每每拍攝都要到實地拍攝，不但成本高昂，演員的檔期也很難協調，同時名勝之地人流如麻，很難協調合適的時間來進行拍攝。虛擬拍攝就可以比較理想的解決這個問題，並大大的降低製作成本。

舉例如拍攝古羅馬的斗獸場，採用虛擬技術後，演員只要在虛擬棚內表演，就可以直接調用素材庫里的斗獸場景進行拍攝，即直接又快速，但這在當下還是一種夢想，需要去落實。

電影是創造的藝術，背景式照片方案是不能符合拍攝技術的，需要建立三維的模型，並有真實的貼圖，還可以根據需要進行光線的模擬（如朝陽、黃昏或正午效果），符合標準後放入模型庫，根據創作的需要調入虛擬拍攝系統，依據劇本需要讓攝影機可以靈活選取需要的角度進行拍攝。

素材庫的建立是一個龐大的數字工程，不但包羅萬象還要能進行清晰的檢索和調用。這個工程是需要持續的投入和建設的，可以通過專門的團體搭建架構，制定技術標準，把符合的納入資料庫內，並可以有償進行商業推廣，讓這個素材庫進入良性發展軌道，慢慢壯大。

以後會有越來越多的傳統攝影棚被改造成虛擬攝影棚，在人力控制範圍之內，可提供24小時候場拍攝，不會受到自然天氣的影響延誤拍攝。有人會問到：不是所有攝影棚都是24小時可以拍攝的嗎？這裡普及個虛擬拍攝的常識，傳統攝影棚搭建的場景都是固定的，如果更換場景需要一天或幾天的時間，而虛擬場景的更換隻需要幾分鐘的時間，如需要搭建一小部分的核心表演區，可以提前在場外做好模塊在攝影棚里組裝好就可以了，一個虛擬棚里一天拍攝幾個場景的案例已不是什麼新鮮事了。

明星演員的檔期很緊，任何意外（生病、受傷等）都會打亂正常的拍攝計劃，虛擬拍攝會提前把劇本中的場景製作好，根據變化來快速調用不同場景，這種優勢會更好的協調劇組拍攝的進程，讓拍攝更人性，更有效率。

電影虛擬拍攝是一個很好的方向，有非常好的前景。讓電影同仁們共同努力，推進虛擬拍攝的不斷進步，搭建更好的平台，用技術提升拍攝的質量，讓創意更好的實現，讓電影帶給觀眾更好的愉悅。

此文發表於《現代電影技術》2015年7月刊~