OpenPose 是如何通過 500 個攝像頭跟蹤身體、讀懂人類情緒的

先試想一個情景：當你的一位朋友說她感覺很放鬆，但是你明明看到她的拳頭是緊握的，你可能會懷疑她在騙你。面對同樣的情景，一台不那麼智能的機器人卻可能會相信她的話。

人類有時候不一定會說真話，但肢體語言卻常常表達出他們最真實的情感。如今我們在計算機視覺及面部識別技術方面已經進步了很多，但對於機器人來說，要識別到人類微妙的身體運動依然很難，這會導致其在判別人類的真實意圖時，可能會漏掉很多重要線索。

針對這個技術盲點，卡內基梅隆大學（Carnegie Mellon University）的研究人員開發了一個身體跟蹤系統，並命名為 OpenPose。該系統能實時跟蹤人的肢體運動，包括手和臉部。它使用計算機視覺和機器學習技術來處理視頻幀，甚至可以同時跟蹤多個人的運動。

OpenPose 不僅可以跟蹤人的面部表情、軀幹和四肢，還可以跟蹤單個手指。為了做到這一點，研究人員使用了卡內基梅隆大學 Panoptic Studio 實驗室的相機系統技術，在一個兩層式園頂結構上布有 500 個攝像頭，它們會從各種角度拍攝身體姿勢，然後使用這些圖像數據來重建數據集，描摹特定點的 3D 運動軌跡。

▲身體+手+臉部監測

▲多人運動監測

▲單人身體+臉部監測

▲身體+手運動監測

圓頂結構上的相機捕獲到的圖像是 2D 的，採集完圖像後，系統會通過關鍵點檢測器傳遞這些圖像，以識別和標記特定的身體部位，幫助身體跟蹤演算法了解每個姿勢如何從不同的角度出現，並最終以 3D 效果呈現。

卡內基梅隆大學機器人學副教授 Yaser Sheikh 表示，跟蹤二維人體形態和運動的這些方法，為人類和機器之間的互動開闢了新的途徑，並能幫助人類以及機器人更加準確的了解周圍環境。舉個例子，識別手姿勢的能力將使人們能夠以新的、更自然的方式與計算機進行交互，無需說話，僅通過用手指向桌上的杯子這樣的簡單動作，就能讓計算機了解到人們想要傳達的信息。

▲相機從不同的角度採集的圖像數據

應用了這種讀取人類情緒技術的機器人能廣泛應用到社交空間，並能通過人類的肢體動作察覺到周圍人的危險動作或心理變化。例如，能識別即將闖紅燈過馬路的人並發出警報，也可為自閉症、閱讀障礙和抑鬱症等疾病患者提供行為診斷和康復方案。

為了鼓勵更多的研究與應用，研究人員已經分別發布了用於多人運動和手姿態分析的計算機代碼，根據 Sheikh 的介紹，目前已有包括汽車公司在內的 20 多個商業集團對該技術產生了興趣。

「現在，我們能夠突破許多技術障礙，主要是因為 10 年前的 NSF 授權，」Sheikh 說：「除了共享代碼之外，我們還分享了實驗中捕獲的所有數據。」

除了 Sheikh，博士生 Simon 和碩士生 Zhe Cao 與 Shih-En Wei 等也參與了多人姿勢識別的研究。手部檢測研究則包括 Sheikh，Joo，Simon 和機器人學院的輔助教授 Iain Matthew。碩士研究生 Gines Hidalgo Martinez 也參與了這項工作，負責管理源代碼。

OpenPose 項目歸屬於卡內基梅隆大學計算機科學學院的 CMU AI 計劃，該計劃於今年 6 月推出，旨在通過利用學校在計算機視覺，機器學習，機器人，自然語言處理和人機交互方面的優勢，推進人工智慧研究和教育。

編輯：談喆@深圳灣

原文：OpenPose 是如何通過 500 個攝像頭跟蹤身體、讀懂人類情緒的

-------- 我是「深圳灣」分割線 ---------

深圳灣 | shenzhenware 長期挖掘物聯網、人工智慧、機器人、無人機、智能駕駛、智能家居等領域的新銳產品和初創團隊，歡迎聯繫我們。微信私人客服：小炫（ID：warexx）。

本文系深圳灣編輯創作發布，轉載、約稿、投稿、團隊報道請聯繫微信公眾號：shenzhenware（回復關鍵字）。