AI 正在學習讀懂你的情感，未來可幫助管理負面情緒

來自專欄 DeepTech深科技16 人贊了文章

麻省理工學院媒體實驗室的研究者們已經開發了一種機器學習模型，這種模型讓電腦更加像人一樣解譯我們的情感。

在「情感計算」這個新興領域，人們開發可以分析面部表情的機器人和計算機，讓它們解譯我們的情感並根據解譯結果做出回應。其應用包括管理個人健康、保證學生在課堂上的興趣、幫助診斷一些疾病以及開發有用的機器人夥伴。

然而這項技術面臨的一大挑戰是，不同的人表達情感的方式非常不同，這一不同依賴於許多因素。一些普適的差異包括不同文化、性別、年齡組之間的差異。但是此外還存在一些更精細的差異：每天中的不同時刻、睡眠狀況、甚至對談話對象的熟悉程度等都會導致你情感表達的差異。

人們的大腦天生就可以處理這些偏差，但這對機器來說很難。深度學習技術在近些年來幫助機器捕捉這些偏差，但這還無法精確到或能夠適應不同的人群需求。

麻省理工學院媒體實驗室的研究人員們開發了一種新的機器學習模型，這個模型通過幾千個面部圖像學習，獲得了比傳統模型更能捕捉到細微的面部表情變化的能力，可以更好衡量人們的情感。此外，通過使用一些額外的訓練數據，模型還可以適應一個全新的人群，並達到同樣的效果。這項研究的目標是提高現有的情感計算技術。

「這是一種隱蔽的管理情感方式，」麻省理工學院媒體實驗室研究者及這篇文章的共作者 Oggi Rudovic 表示，「如果你想讓機器人擁有社交智能，你必須讓它們能夠聰明而自然地對我們的情感作出回應，更加像人類一樣。」Oggi Rudovic 在上周的機器學習和數據挖掘大會上進行了展示。

個性化專家

傳統情感計算模型通常想找到一個「通解」。他們通過對一系列描述不同面部表情的圖像訓練來優化特徵——如當笑的時候嘴唇是如何捲曲的——並將這些普適的優化標記在整個新圖像數據集中。

而本次研究的科學家將個性化模型技術與「多專家模型（MoE)」技術結合，幫助挖掘細粒度的個人面部表情數據。Rudovic 說，這是首次將這兩種技術結合併用於情感計算。

在多專家模型中，一系列神經網路模型被稱為「專家」，每一個「專家」用於專門訓練一個分開的任務並生成一個輸出結果。研究人員結合了門控網路，這一網路可以計算每個專家成功解譯未見過的新情緒的概率。「基本上，網路可以區別個體的差異並指出『在這張圖中這個專家的結果是正確的』。」Feffer 說。

對他們的模型來說，研究人員通過將每個專家與 RECOLA 數據集中 18 個個人視頻記錄進行匹配。RECOLA 數據集是一個公開資料庫，供人們在為情感計算設計的應用平台上通過視頻聊天交流。他們採用了 9 個主題訓練模型，而通過另外 9 個主題來評估訓練結果。所有的視頻都被剪輯成獨立的小部分。

每一個專家和門控網路都可以通過一種叫 ResNet 的分類神經網路幫助追溯到每個個體的面部表情。在這個過程中，模型基於數值的高低（如高興或不高興）和喚醒程度（如興奮）為每一個框架打分。通常使用矩陣為這些不同的情感狀態進行編碼。同時，6 個人類專家標記每一個框架的數值和喚醒度，用來訓練這些模型。

研究人員進一步對模型個性化，他們將一些剩下的視頻作為訓練模型數據，用另一些機器未見過的視頻對模型測試。結果顯示，在含有 5%-10% 新人群類型的數據中，該模型比傳統模型表現有很大改觀，這意味著模型的數值和喚醒度數據更接近人類專家的評分。

這一結果展示了模型可以通過有限數據集學習適應不同人群的潛力。Rudovic 說，「這很關鍵。當你遇到一個新的人群時，你必須找到一些調整微小面部變化差異的方法。想像一個分析某一種習俗人們的面部表情模型需要適應另外習俗人們的表情，如果模型不考慮這一變化，其表現將會變差。但是如果你從另外習俗人群中找一些樣品數據來讓模型適應，這些模型可以做得更好，尤其是在個人水平上。這就是我們這一個性化模型的重要性。」

目前對這種情感計算研究的可用數據還沒有對不同膚色開放，因此研究者的訓練數據是有限的。但是當這些數據可用後，模型可以被訓練來對更多類型人群使用。下一步，Feffer 說，是「用更多元化的更大數據集」訓練這些模型。

更好的人機交互

另一個目標是訓練模型幫助計算機和機器人自動學習數據中的微小變化，以用於更自然的檢測我們的感覺並更好的服務人類需要。研究者說。

例如，這個模型可以在電腦或移動設備上運行並追溯用戶的視頻對話，以學習其在不同環境中的細微面部表情變化。「你可以使用能識別人們感情的智能手機 app 或網站，它們將向你推薦如何應付這些壓力，或其他對生活有負面影響的事。」Feffer 說。

該模型也可以幫助人們管理壓力等負面情緒，這些情緒中的人們面部表情會有一些微妙的變化。「通過管理我們面部表情中的負面情緒，」Rudovic 說，「我們可以個性化這些模型並管理人們每天的數據與平均數據之間的變化，並進一步用作健康指標。」

一項十分有前景的應用，Rudovic 說，是人機互動，例如個人機器人或教育機器人，這些機器人需要適應許多不同的人的感情狀態評估。例如，其中一個版本可能用於更好理解自閉症兒童的情緒。

貝爾法斯特女王大學心理學退休教授情感計算學者 Roddy Cowie 說，麻省理工學院的工作「闡明了我們的研究在這個領域到底到了哪種程度」。「我們的研究正在走向可以從人臉照片中識別出他們的高興程度和多活躍程度的境界，」他說，「直覺上來講，每個人給出的信號都會和他人不同，所以個性化的模型在情感識別中有更好的性能具有意義。這一個性化方法也反應了另一個有趣的點，訓練多個『專家』模塊並集合對它們打分比只訓練單個的『超級專家』要更有效。這種演算法的結合獲得了滿意的結果。」

Helping computers perceive human emotions?

news.mit.edu
推薦閱讀：