3D 姿態識別進我家，網紅小哥 Siraj 帶你走近高科技

來自專欄 AI研習社社區4 人贊了文章

這裡是，油管 Artificial Intelligence Education 專欄，原作者 Siraj Raval 授權 AI 研習社編譯。

原標題：DensePose - 3D Machine Vision

翻譯 | 龍柯宇 校對 | 程煒 整理 | MY

視頻地址：3D姿態識別進我家，網紅小哥Siraj帶你走進黑科技@雷鋒字幕組_騰訊視頻

Hi，我們今天的發文仍然沒有遲到哦，那麼你是不是走在要遲到的路上呢？

今天的內容來自於油管小哥 Siraj，課代表為你劃重點啦：

1. DensePose 是一種新的深度學習模型

2. 它可以使用單塊 GPU

3. 它可以從視頻中為多人建立 3D 模型

4. 沒有源代碼

事情是這樣，Facebook 的 AI 研究團隊發布了一項 demo，它可以在視頻中標出人體所對應的全部像素點，並且可以克服大量干擾，使用單塊 GPU 識別出多人的像素點。

你會問我們為什麼要標記人體所對應的像素點？事實上這將是項有海量應用場景的技術。

一般我們會在 3D 電影裡面看到各種虛擬角色，比如吳彥祖在電影《魔獸》里演的角色古爾丹。古爾丹的獸人外形全靠電腦製作，而其動作、表情、姿態則需要利用專業設備對演員進行動作捕捉，製作 3D 的運動角色需要耗費大量的精力，也需要昂貴的設備，耗時長、成本高，只有具有充足資金的大規模工作室才有能力追蹤真人運動並將此轉化成動畫。

（這張圖並不是吳彥祖····）

你可能會記得我們曾經講過的深度偽造演算法，可以實現人臉部圖像的無痕替換修改，這項技術與之類似，不過是應用到整個人體上。我們可以將整個人換成另一個形象，並且保持動作與原圖像一致。簡單點，就是不需要這些複雜的動作追蹤設備就可實現虛擬人物製作。

這項技術其實建立在我們能夠對人體進行三維建模的基礎上，並且這項操作是實時的，他將根據人體的運動而更新。例如一個舞蹈視頻，我們看到一個二維的像素網格，但是我們都知道他是三維物體在二維網格上的展示，我們需要計算機也有這項能力並且能夠將此可視化。

在這項技術中，計算機和圖片建立了一個對應。即它衡量了圖片中的像素點與另一張圖片中的像素點的匹配度，這是二維圖片和三維圖片的匹配。

為了避免圖片中有空洞，也就是說為了讓關聯點之間挨得更近，我們需要建立密集對應，通過物體檢測、物體分割和姿態估計建立模型。當然，更簡單的方式是我們使用有標籤的數據集幫助深度學習變得更簡單。但是我們現在沒有這種人類圖片被標註為三維模型的數據集，因此我們需要人工標註一些三維圖片與二維圖片之間的關聯，給頭、腳等部分進行標註。

現在有一個叫做 DenseReg 的網路結構在物體上實現了圖像分類和回歸的功能。網路需要判斷每個像素點是屬於背景還是區域，並給出具體的坐標，並使用感興趣區域池化的方法來生成不同的區域，把特徵結果輸入提供給不同的區域分支。

最終實現對了從人到 3D 模型的構建。

視頻原址：

https://www.youtube.com/watch?v=EMjPqgLX14A

一個專註於

AI技術發展和AI工程師成長的求知求職社區

誕生啦！

歡迎大家訪問以下鏈接或者掃碼體驗