牆後的所有姿勢，全被「瞎眼」AI透視

牆後的所有姿勢，全被「瞎眼」AI透視

來自專欄量子位

李林 若朴 發自 凹非寺

量子位 出品 | 公眾號 QbitAI

古人云，隔牆有耳。

但想要做到「隔牆有眼」，就像二娃那樣，能穿牆透視，似乎是種遙不可及的本領。

現在，MIT CSAIL的一群科學家，就用AI構建了一雙透視眼。你在牆後的一舉一動，它就都能看見。這項研究，作為spotlight論文發表在CVPR 2018上。

吶，效果就是這樣。

識別的方式，就是把人體簡略成一套基本的骨架結構。不同部位，用不同的顏色標示，左右手、左右腿都不一樣。

即便你走到牆後，人眼看不到，但AI一樣能準確判斷你的位置與姿勢。基本算是開了一個透視外掛。

牆都擋不住這套系統，窗帘就更不在話下了。

黑燈瞎火的地方，也完全不是問題。

上面這個演示，我們還可以看到，這個AI認出了兩個人。沒錯，這個AI還能同時識別多人的姿態。

而且即便是多人同時交叉行進的複雜場景，這個AI也能順利搞定。

看到這，你可能會說：除了穿牆之外，其他的演示，並不算炸裂啊，這種人體姿態的識別，已經早有人做了，不是么？

沒錯。

但這個AI，其實是個眼瞎的「盲AI」！

穿牆透視也好，多人識別也好，依靠的全都不是視覺信號，實際上，根本沒給AI視覺信號。

那，這個AI靠什麼識別人體？

無線電波。

它用的無線電波有點類似大家常見的WiFi信號，但是功率更弱一些。利用無線信號在人身上的反射，來「看清」人體。

因此，這個AI的名字就叫RF-Pose，從射頻到姿勢的意思。

來，感受下這兩張圖。看看你能不能腦補出人體姿勢。

透視眼修鍊之道

我們前面提到過，RF-Pose識別人類動作時，根據的並不是視頻，而是無線電波的反射。

而想要訓練這樣一個AI，面臨著一個嚴重困難：

根本沒有標註好的數據集可用。

更要命的是，就算你糾集一批人類，想群策群力標註一個這樣的數據集，也完全不可行——無線電信號那個微弱粗糙的解析度，我們人類根本認不出。

這個困難，在訓練過程中無法迴避。於是，他們用上了「跨模態監督」方法，在無線電波接收器旁邊加了個攝像頭，同步記錄無線電波和視頻，然後從視頻流中提取人體姿勢信息，用作無線電波的監督信號。

他們在MIT校園裡收集了50小時的數據集，男女老少都不放過，場景包括辦公室、食堂、教師、報告廳、樓梯、走廊等等50餘處。

在這個數據集里，最熱鬧的數據幀包含14個人，最少的當然是完全沒有人。

也就是說，數據集包含兩大部分：圖像上能看到人的、和人被遮擋了的。MIT團隊從圖像上能看到人的部分選取70用於訓練，30%留作測試用，而人被遮擋的數據全都用來測試。

70%能看見人的數據，拿來訓練了一個跨模態「師生網路」。

在這個網路中，老師以圖像為輸入，預測出人體關鍵點的置信圖，學生以射頻信號為輸入，以和老師最接近為目標，學著預測人體關鍵點置信圖。

從置信圖再生成出我們最終看到的骨架模型，RF-Pose的透視技能就算修鍊完成了。

無線新方向

這篇論文的作者，包括Mingmin Zhao、Tianhong Li、Mohammad Abu、Alsheikh Yonglong、Tian Hang Zhao、Antonio Torralba、Dina Katabi等。

其中一作Mingmin Zhao（趙明民），本科畢業於北京大學，目前在MIT讀博。去年夏天，趙明民發表過另一篇AI+無線信號的論文，主要用這個技術來監測人類的睡眠情況。論文發表在ICML 2017上。

論文傳送門：http://sleep.csail.mit.edu/

此前，他還研究過使用無線信號識別表情。

傳送門：http://eqradio.csail.mit.edu/

你看，這其實是一整套技術。不用安裝攝像頭，只需要通過類似WiFi的無線信號，現在就能知道你在哪，有什麼動作，是什麼姿勢，情緒怎麼樣，心跳快不快以及睡眠質量怎麼樣……等等。

當然這套技術並不是要窺探你的隱私。

而是有更廣泛的應用場景。例如，幫忙監測家裡的老人或者醫院的病人。這套系統有幾個好處。

首先，不用攝像頭，省卻了很多隱私的擔憂。

其次，這個技術能比較準確的識別出不同的人，並且追蹤行動、姿態、情緒等相關數據。

再次，監測可以穿牆而過，不受干擾。

以及，被監測對象可以不必佩戴隨身任何其他設備，輕鬆高效。

總之這是個很有意思的方向。當然這一方向的研究，還有大量的工作需要完成。比方，這個團隊會繼續尋求捕捉更細微的動作，例如老人的手部顫抖等。當然透視監測的準確率，也需要進一步提升。

而趙明民之所以一直研究這個方向，其實源於他的導師：Dina Katabi。

Katabi教授一直在研究無線技術，她是CSAIL實驗室NETMIT研究組負責人，也是MIT無線網路和移動計算中心的主任。

上面提到的所有研究，其實都沒有細講無線信號的問題。

實際上，Katabi團隊在2015年發表的一篇論文里，對這件事有更為詳細的描述，論文題目：Capturing the Human Figure Through a Wall。

在這篇論文里，披露了當時那套無線設備的一些細節。

吶，就是這樣。

研究傳送門

項目主頁：

http://rfpose.csail.mit.edu/

論文：

Through-Wall Human Pose Estimation Using Radio Signals

Mingmin Zhao, Tianhong Li, Mohammad Abu Alsheikh, Yonglong Tian, Hang Zhao, Antonio Torralba, Dina Katabi

Computer Vision and Pattern Recognition (CVPR), 2018

http://openaccess.thecvf.com/content_cvpr_2018/papers/Zhao_Through-Wall_Human_Pose_CVPR_2018_paper.pdf

說明一下，目前這個AI的監測效果，在沒有遮擋的情況下，準確率62.4%，需要穿牆透視的時候，它的準確率是58.1%。

先別太苛刻，這個AI還是個寶寶嘛。就算是看著視頻來識別姿勢，現在AI的準確率也並沒有非常高。2017年曠視在MS COCO人體關鍵點檢測奪冠的成績，也才73%而已。

推斷出人體姿勢之後，AI還能進行一些其他工作：比如根據這個骨架結構來認人。給AI兩秒鐘的骨架活動片段，它認人的準確率就能達到83%。

— 完 —

歡迎大家關注我們的專欄：量子位 - 知乎專欄

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復「招聘」兩個字。

量子位 QbitAI · 頭條號簽約作者

?? ? 追蹤AI技術和產品新動態

推薦閱讀：