解讀GDC三個Unreal作品，照片級真實感，實時圖形渲染，塑造下一代遊戲和電影
（映維網 2018年03月22日）微軟日前發布了DirectX Raytracing，把實時光線追蹤帶到DirectX 12 API，以此來縮短用於遊戲領域的光柵化技術與用於電影和離線渲染場景的CG技術的差距。這為實時環境中從未有過的全新技術打開了大門。
Epics Games和英偉達正在合作為後者最新發布的RTX技術提供支持，把這一系列的功能帶到Unreal 4引擎，允許開發者構建使用光柵化渲染和光線追蹤技術的遊戲。在GDC的「State of Unreal」主題演講中，Epic Games由此展望了一個照片級真實感的實時圖形時代。他們為觀眾帶來了三個演示作品，說明了Unreal引擎是如何通過實時光線追蹤來實現逼真的照明與反射。
1. Reflections
工業光魔利用了Unreal 4引擎和《星球大戰》角色來展示了實時光線追蹤技術，亦即以電影級別的質量來實時渲染和照明一個場景。實時光線追蹤被認為是創建高端電影級別影像的聖杯，而這代表著電影與遊戲領域融合的一大進步。
在這部名為《Reflections》的短片中，我們看到系統利用Unreal引擎、英偉達RTX技術，以及微軟的DirectX Raytracing API來逼真地渲染普拉斯馬隊長和兩名帝國衝鋒隊。在舞台上，Epic和工業光魔把運行ARKit的iPad作為虛擬相機，向觀眾說明了場景是如何實時拍攝。
https://www.zhihu.com/video/960222036115746816
在技術演示作品中，照明能夠交互地在場景中移動，因為包含陰影和照片級真實度的反射等光線追蹤效果是以實時渲染。對於Unreal引擎來說，這種高反射性表面和柔和陰影的驚艷圖像質量從未達到如此高水平的圖像保真度。
《Reflections》所展示的下一代渲染技術包括紋理區域光效（Textured area lights），光線追蹤區域光影（Ray-traced area light shadows），光線追蹤反射（Ray-traced reflections），影視級景深（Cinematic depth of field），以及英偉達GameWorks光線追蹤去噪（Nvidia GameWorks ray tracing denoising）。
Epic Games創始人兼執行總監提姆·斯維尼表示：「光線追蹤這種渲染過程通常只與高端離線渲染器和數小時的電腦處理時間相聯。實時電影質量的光線追蹤是Unreal引擎的第一次。對於媒體和娛樂線性內容世界，以及任何需要照片級真實感可視化的市場而言，這是一項令人興奮的新發展。」
Epic Games表示，對英偉達RTX的支持將於今年下半年對Unreal引擎的開發者開放。
2. 瑟金斯
在Epic Games的「State of Unreal」主題演講中，我們看到了基於著名演員安迪·瑟金斯的實時數字角色表演。安迪·瑟金斯是著名的動捕演員。他曾飾演《指環王》的咕嚕，新《星球大戰》三部曲中的斯諾克，以及《猩球崛起》的凱撒等等。在3Lateral和Epic Games的幫助下，瑟金斯現在成為了實時捕捉和渲染的數字人類。
瑟金斯表演了著名莎士比亞劇《麥克白》的一段獨白，而工作人員將捕捉到的瑟金斯表演應用於不同的場景之中。在舞台上，Epic和3Lateral展示了動畫製作者是如何實時修改瑟金斯的表演，如調整他的眉毛以及他的注視點方向。
https://www.zhihu.com/video/960222245243830272
這一逼真的數字角色表演是基於Unreal引擎的實時渲染技術，3Lateral的Meta Human Framework體三維捕捉、重建與壓縮技術。他們在受控照明條件下通過多個角度捕捉了一系列的高質量、HFR圖像，從而生成了安迪·瑟金斯表演的體三維數據。所有的輸入都用於生成一個基於安迪·瑟金斯的數字角色，並且提取代表肌肉收縮的通用面部語義來令數字角色的表演變得栩栩如生。
https://www.zhihu.com/video/960222290529693696 在短片中，高保真度的數字複製品複述了《麥克白》中的台詞，而這一切幾乎與真人表演別無二致。「麥克白」表演數據同時用在了3Lateral的科幻數字角色Osiris Black身上，用以說明相同的捕捉將如何驅動兩個完全不同的角色。瑟金斯是背刺概念驗證實驗的理想對戲那個，除了他那驚人的表演天分外，瑟金斯在動捕表演領域的經驗十分豐富。
為了播放這種巨大的數據集，3Lateral的語義壓縮在減少大小的同時保存了數據的完整度，從而能夠將表演復刻在數字角色身上，並且輕鬆調整注視點和微小的表演細節。這種超高保真度的捕捉是對數據的預先離線處理，而數據可以上傳至Unreal引擎中以實現實時的體三維表演。
3. Siren
Epic Games同時與3Lateral、Cubic Motion、騰訊和Vicon合作研發了Siren，一個「基於中國演員姜冰潔外貌的高保真度，實時數字角色」，能夠以超過每秒90幀的速度追蹤超過200個面部特徵，並自動將數據實時映射到超高質量的數字角色。
Siren利用了Cubic Motion的面部表情捕捉系統，3Lateral的面部操控技術，Vicon的身體動捕系統，具備逼真的面部和眼部運動，以及與參與者交互的能力，展示了面部表情捕捉系統的全部潛力，支持能夠反應人類情感的人臉動畫。
https://www.zhihu.com/video/960222389322285056 這項技術改變了製作過程，使得導演和製作人能夠立即看到結果並執行連續拍攝，允許實時創建新內容並直接傳輸到遊戲之中，從而為遊戲，電影，電視和虛擬助理開發節省時間和金錢。
Epic Games技術總監Kim Libreri表示，創建可以實時交互和引導的可信數字角色是近年來計算機圖形行業最激動人心的事情之一。
https://www.zhihu.com/video/960222424105676800 儘管這些概念驗證十分震撼，但目前只是用於專業視效領域。映維網相信在未來某一天，照片級真實感的數字人將能用於互動式娛樂，模擬、調查、非言語交流、人工智慧、虛擬現實及混合現實應用。
4. 下一代數字娛樂
Epic Games技術總監Kim Libreri表示，這一系列的技術可用性使得實時光線追蹤、實時數字角色表演成為現實。通過把如此強大的功能帶到Unreal 4引擎，Epic Games正在塑造下一代遊戲和電影圖形。
解讀GDC三個Unreal作品，照片級真實感，實時圖形渲染，下一代遊戲和電影 | 映維網 - 國際影響力虛擬現實（VR）產業信息數據平台，致力於引導全球虛擬現實（VR）產業發展
推薦閱讀：