廉價動態捕捉解決方案

07-09

廉價動態捕捉解決方案

來自專欄 TechAnim技術分享

「廉價」只是個玩笑話，一切是為了節約時間成本。

在項目早期為了做一些質量需求不高的測試用動畫，考慮到去專業動態捕捉工作室做mocap的成本太高(除了捕捉費用的花銷，工作人員的路費，食宿以及時間成本)，決定探尋廉價的動態捕捉方案。目前備選方案有兩個，一個是Ipisoft Markerless Motion Capter, 另一個是用 IKinema 的HTC vive的VR設備+附帶的動補Tracker 的動態捕捉。

目前測試了Ipisoft，對於質量要求不高的測試動畫來說效果還不錯，這裡簡單介紹一下。

Ipisoft Motion Capter 是用 1 到 2 個Xbox 的 Kinect 攝像頭或者 3 到 6 個PlayStation 攝像頭(專業版支持16個)，不需要追蹤器（Markerless），基於視頻像素變化來計算骨骼運動的動態捕捉軟體。

用了一個會議室，大概25到30平方米，6 個 PlayStation 的攝像頭，攝像頭高低位置不同， 6 個攝像頭視角基本上涵蓋了房間的所有角落。

六個攝像機的視角

首先需要用光點來做Calibration, 這裡用了個手電筒（手電筒上包了紙讓光稍微散射一點）。

Calibration 的作用是通過讓每一個攝像頭對視頻中光點的追蹤，讓軟體計算出每個攝像頭的精確位置和方向。（也就是說Calibration 過後，攝像頭就不能移動了，換句話說，每次移動了攝像頭，都需要重新做Calibration）

https://www.zhihu.com/video/992951431506378752

Calibration 的結果

因為是基於像素來捕捉，軟體需要明確的知道背景和被捕捉對象的區分，所以需要做Background check. 這一步就是讓每一個攝像頭對靜止背景拍照。稍後將拍照的圖片比對有移動物體（捕捉對象）的視頻，從而將移動的物體區隔出來。

接下來就是捕捉。做了一些測試，發現因為是基於像素，所以將肢體和背景的顏色區別開來會得到更好的效果，我們基本的顏色區分是紅色的手臂，綠色的上衣（測試的時候我穿的灰色），黑色的褲子，紅色鞋子。從一元店買了便宜的衣服，剪裁縫製，做了一些簡易的可以包裹身體的「套子」。有條件的話，肢體顏色有明顯區隔的緊身衣是最好。

為了讓捕捉對象和背景區別更明顯，背景的沙發蓋上了白紙。

下面就是測試的內容。

某個攝像機角度的視頻。

https://www.zhihu.com/video/992951120955846656

在軟體中匹配視頻中捕捉對象的肢體顏色和模板角色的肢體顏色。

像素Tracking 過後raw data的效果。

https://www.zhihu.com/video/992951185598496768

用軟體自帶的工具光滑動作後的效果。

https://www.zhihu.com/video/992951226752970752

多年的動態捕捉數據處理的經驗來看，這個廉價的捕捉方案已經達到了比較好的效果。當然問題是有的：手腕和頭部旋轉的捕捉數據基本上沒有（官方說可以綁一個PlayStation motion control的控制器，圖例，但經過測試後發現效果並不理想）

腰部的弓下後背的Pose沒法捕捉，圖例，（不過這個在DCC處理的時候很容易修改）。

其次是空間的限制，如果空間太大，攝像頭相互之間的距離太遠，捕捉數據的質量也會收到影響。

雖然數據並不完美，質量無法和Vicon 之流比，但廉價的捕捉方案已是其最大的優勢。在項目初期階段（對動畫質量的需求不大），當策劃提齣動畫需求，通過半個小時到一個小時的設置和捕捉，即可以輸出可以用的數據來驗證策劃的需求。且不需要提前預約動態捕捉工作室，不需要工作人員飛到另外的城市（現狀），一切就在公司的會議室完成，這也是最開始探尋廉價動態捕捉方案的初衷。