藝人竟當場「變臉」？人臉追蹤投影技術，該技術國內舞台首度亮相

本文來自於影像騎士，ID：Visual_Jockey，如需轉載請聯繫原作者，謝謝！

https://www.zhihu.com/video/963919437234073600

2018年浙江衛視春季盛典暨OPPO R15發布會熱力進行中，舞台驚現人臉追蹤投影。這是該技術國內舞台首度亮相。

中間隱藏多少秘密？小編帶你走進《體面》百變的臉。

《體面》節目里，海豚海洋暢遊、河流灌溉沙漠，影像與演員面部、動作、嘴形契合。

「在這場春季盛典中，我們為《霍元甲》、《不醉不會》、《王妃》、張靚穎熱歌串燒等節目提供視覺設計，每一個都凝聚了設計師們的心血。《體面》面部追蹤投影更是一次全新嘗試。」作為節目視覺總監，胡玥鵬在後台仍心情激動。

20天突擊：幾乎不可能完成的任務

面部投影，顧名思義就是在人臉進行投影，通過計算機深度學習，人工智慧識別出人的五官和輪廓，實時臉部追蹤，通過3D動畫技術生成面部藝術效果，重新投射到人的臉上，形成與人臉完全貼合的「影像面具」。

這段表演中必須攻克的難題是：實現邊唱歌邊投影情況下精準捕捉演員面部點位，讓影像在動起來時和嘴型、不同角度的面部契合。

首次通過演算法識別和紅外追蹤人臉

由於演唱要有表情動作，恩維傳媒技術團隊在國內首次通過演算法識別，實現在運動、帶表情動作的人臉上追蹤投影，並保證識別的精準度。

追蹤投影設備

整套設備含攝像機、紅外濾光片、紅外燈和高性能主機。

紅外燈打亮演員面部輪廓，攝像頭實時捕捉演員面部動作。

識別追蹤

攝像機實時捕捉數據反映到主機處理，把相應影像投到人臉。

1:1建模修整與動畫製作

人臉畢竟與幕布不同，不同人面部輪廓、寬窄都不一樣。人臉投影可以說是「量身定做」，一個模型對應一個人。首先拍攝多角度照片。根據演員面部特徵和五官創建各種角度1:1三維模型。

3D動畫根據模型進行製作，跟演員的面部輪廓、五官對位。

在《體面》這首歌，恩維團隊技術測試和製作同時進行。

視覺設計編排出新

《體面》除了面部投影這一「黑科技」加持外，恩維團隊在整個節目的編排、視覺畫面設計上也頗花心思。

整個編排加入4道條形紗投影、主舞台冰屏、沙發投影、T台3組冰屏，設計師對歌詞情景和具象載體進行提取，通過電影場景中出現的白沙發和海豚項鏈貫穿始終，承載關於電影的回憶。

配合激光與影像營造割裂感。

效果圖展示

人臉投影設計圖

從前期無數次的測試、調整，到現場最終呈現，一台節目凝聚台前幕後人員的心血——

技術測試

現場聯調

這場超級娛樂盛典在總負責人浙江衛視蔣敏昊、總導演陳學武、現場副總導演姜陽建、舞美設計尚天寶、視覺總監胡玥鵬、燈光設計大鈞、虛擬技術總監崔永江、舞蹈總監連偉孝、導播楊帆、視覺設計團隊恩維傳媒等組成的幕後天團「護駕」之下進行。

在形似T台的舞台上創新組合運用軟幕、升降冰屏、投影紗、沙發、LED等視覺載體，融合虛擬植入等技術，更是大膽嘗試人臉追蹤投影。當冰冷技術遇上炙熱的創意，視覺呈現實現質的飛躍，我們重新定義頂級娛樂盛典的視覺表達。

感謝浙江衛視及全體導演組的信任與支持，讓這次創新的嘗試邁出了堅定的一步！

《體面》面部投影技術團隊

恩維傳媒

視覺總監：胡玥鵬

視覺總設計：於迪

剪輯導演：董曉丹

視覺設計：尚浩、黃寧、姚可、王春慧、張飛龍、柯昌勇

後期製作：林小龍、王振雨、李楊

面部投影技術支持：楊炎濤、方俊欽、吳強、楊大勇、張大亮、劉曉楠、傅光輝、霍興華、江威徳

推薦閱讀：