作大死項目筆記 - 從掃描自己開始

之前文章也寫到了角色使用照片重建的計劃。難得有機會 @熊貓燒香 在無錫做項目，從上海到無錫的影視基地開車不到兩小時的路程。為了不耽誤正常的工程，趕在了上午進行角色掃描工作。

其實說起來是 「角色掃描」 ，實質上是使用攝影測量法： Photogrammetry 來採集人物的表面信息。攝影測量法需要大量高質量穩定的照片，所以就有了圖上看到的這整套器材。

這套器材的玩法其實很多遊戲開發視頻中都已經出現過，從不同角度在良好光線環境下拍攝各種角度的一整組照片，通過照片之間的視差計算出每個像素的空間位置得到點雲。通過點雲重建表面。

其實除了拍攝自然表情之外，為了給下一步面部動畫做準備，還額外拍了一些表情動作 —— 其中不乏各種鬼畜。

最後會得到一個像素極匹配的頭部模型和與現實完全一一對應的貼圖。臉上這麼多曬顯示器曬出來的斑估計只有靠美術大大了 ……

掃描的結果還沒落實，所以並不能深入角色製作的過程。但是關於將來如何做面部動畫的問題倒是非常值得研究起來：

面部動畫這個東西看起來並不複雜，好像綁上骨骼讓美術做動畫就可以完成。可是，人們因為天天看臉，對人臉太熟悉太敏感，因此寫實風格的動畫做起來難度比想像的高實在太多。

• 從流程上來說，臉部動畫還是和普通的姿態動畫一樣分成 「綁定」 和 「動畫」 兩個部分
• 從綁定上來看，有 「綁定到面部形態控制」 和 「綁定到表情模板控制」 的差異
• 從技術方式上來看，有基於 「變形動畫」 和 「骨骼動畫」 的區別
• 從製作手法上來看，有基於 「姿勢混合」 和 「時間線」 的方式
• 從獲取途徑上來看，有 「手工動畫」 和 「演出捕捉」 兩種不同的動畫獲取渠道

排列組合起來的常見流程有

1. 面部模型進行骨骼綁定，綁定到面部形態控制，然後手工骨骼動畫
2. 面部進行骨骼綁定，綁定到面部形態，製作表情模板，最後設定表情混合動畫
3. 面部進行骨骼綁定，使用骨骼製作不同的表情，將表情變為變形動畫模板，通過模板混合得到動畫
4. 從無表情姿態模型開始，分別製作不同表情的面部，將表情變為變形動畫模板，通過模板混合得到動畫
5. 先做流程 2，再做流程 4
6. 先做流程 2，使用演出捕捉生成面部形態模板混合動畫
7. 將真人捕捉的面部處理為表情，轉至流程 4

上面這些個做法基本上分為兩派：動畫派 和 姿勢派。

動畫派製作過程中步驟較少，自由度比較高，綁定的骨骼對於遊戲來說還有一些特殊的用途，譬如臉可以被打歪等等。但是動畫派的表情穩定性比較低，而且動畫數據本身沒有什麼可讀性。同時動畫派很難在遊戲中使用邏輯驅動表情。

• Unity 中的 Humanoid 模板提供了下顎關節的動畫重映射功能，算是用版本投了動畫派 —— 流程1
• Valve 則是表情派的，早在 Half-Life 2 時代就製作了根據角色語音自動用骨骼姿勢混合口型動畫的功能，後來在 軍團要塞2 里還疊加了變形表情！ —— 流程5
• 遊戲動畫提供商 Maxiamo 在 Unity 的一個 Demo 項目中使用了流程6。角色整個面部沒有骨骼 —— 3D Facial Capture and Facial Animation in Real Time with Face Plus

看到這裡還沒見著難度呢

再看看製作流程中的 流程6 和 流程7。這兩個流程都有演出捕捉的環節存在，演出捕捉在面部捕捉的時候並不是像全身動作捕捉那樣捕捉每個關節的動作的。而是用機器視覺技術來識別面部形態的變化。而說起面部形態變化的特徵，就不得不提到 FACS 面部行為編碼的問題了。

當把 FACS 攪到製作流程中來的時候，面部變形模板的製作就變得難度劇增。任意製作的面部變形模板無法和 FACS 對應會導致面部表演捕捉失敗。沿著運動規律進行骨骼綁定和把臉部行為在模型上獨立化顯然都不是常見的技能。

那麼，當今遊戲業界最複雜的面部動畫流程又是什麼樣的？

那就要看 Unreal 和 Unity 各家的 Demo Team 作品了。譬如說 Unity 5 Demo 《The Blacksmith》：

• 首先為角色面部建模
• 對角色面部進行綁定，配合 FACS
• 未進行綁定的面部結構部分根據藝術需要製作不同的模型
• 真人捕捉，包含面部骨骼的運動軌跡
• 運行時根據動畫還原皮膚皺紋等細節

骨骼，變形，真人捕捉，手工加工，幾乎前面所有流程中的環節都有登場，即需要骨骼動畫帶來的動畫動態過程，又緊抓變形動畫帶來的細節精度。

而到了這樣的程度時，面部綁定的重要性已經被提高到了無與倫比的地位，幾乎可以說動畫的成敗全憑綁定了。做的好宛如真人，做不好不忍直視……

至於我們自己的方案，還是等這次掃描結果拿到之後，先測試一下再說吧。

推薦閱讀：