從人們的走路方式中識別感知到的情緒

北卡羅來納大學教堂山分校(University of North Carolina at Chapel Hill)和馬里蘭大學帕克分校(University of Maryland at College Park)的一組研究人員最近開發了一種新的深度學習模型，可以根據人們的走路姿勢識別他們的情緒。他們在arXiv上預先發表的一篇論文中概述了他們的方法，通過從RGB視頻中提取一個人走路的步態，然后進行分析，并將其歸類為四種情緒之一:高興、悲傷、憤怒或中性。

“情感在我們的生活中扮演著重要的角色，它定義了我們的經歷，塑造了我們看待世界和與他人互動的方式，”北卡羅來納大學的主要研究人員之一、研究生坦梅·蘭德爾哈瓦內(Tanmay Randhavane)告訴TechXplore。“感知他人的情緒有助于我們理解他們的行為，并決定我們對他們的行動。例如，人們與他們認為憤怒和有敵意的人交流，與與他們認為平靜和滿足的人交流，是非常不同的。”

大多數現有的情緒識別和識別工具都是通過分析面部表情或聲音記錄來工作的。然而，過去的研究表明，肢體語言(如姿勢、動作等)也能很好地表達一個人的感受。受到這些觀察結果的啟發，研究人員著手開發一種工具，能夠根據個人的行走方式自動識別他們感知到的情緒。

Randhavane說:“我們感知情緒識別方法的主要優點是它結合了兩種不同的技術。”“除了使用深度學習，我們的方法還利用了心理學研究的發現。這兩種技術的結合使我們比其他方法有優勢。”

該方法首先從一段RGB視頻中提取一個人走路的步態，將其表現為一系列的3d姿勢。隨后，研究人員使用長短時記憶(LSTM)遞歸神經網絡和隨機森林(RF)分類器來分析這些姿勢，并識別視頻中人們感受到的最明顯的情緒，在快樂、悲傷、憤怒或中性之間進行選擇。

LSTM最初是針對一系列深層特征進行訓練的，但這些深層特征后來與利用姿勢和動作線索計算出的情感特征相結合。所有這些特性最終都使用RF分類器進行分類。

Randhavane和他的同事對一個包含人們行走視頻的數據集進行了一系列的初步測試，發現他們的模型能夠識別人們感知到的情緒，準確率達到80%。此外，他們的方法比其他關注人們走路方式的感知情緒識別方法提高了約14%。

計算機科學系的研究教授阿尼克特·貝拉負責監督這項研究。“這項研究有很多應用，從改善人類對機器人和自動駕駛汽車的感知，到改進監控，再到在增強和虛擬現實中創造更吸引人的體驗。”

除了Tanmay Randhavane和Aniket Bera，這項研究背后的研究團隊還包括馬里蘭大學帕克分校的Dinesh Manocha和Uttaran Bhattacharya，以及北卡羅來納大學教堂山分校心理學系的Kurt Gray和Kyra Kapsaskis。

為了訓練他們的深度學習模型，研究人員還編寫了一個名為“情緒行走”(Emotion Walk, EWalk)的新數據集，其中包含了人們在室內和室外環境中行走的視頻，并貼上了感知到的情緒標簽。在未來，這個數據集可以被其他團隊用來開發和訓練新的情緒識別工具，用來分析動作、姿勢和/或步態。

“我們的研究還處于非常原始的階段，”貝拉說。“我們希望探索身體語言的不同方面，并研究更多的線索，如面部表情、語言、聲音模式等，并使用多模式方法將所有這些線索與步態結合起來。”目前我們假設行走動作是自然的，不涉及任何配件(如行李箱、手機等)。作為未來工作的一部分，我們希望收集更多的數據，更好地訓練我們的深度學習模型。我們還將嘗試擴展我們的方法，以考慮更多的活動，如跑步、打手勢等。”

根據Bera的說法，感知情緒識別工具可以很快幫助開發具有更先進的導航、規劃和交互技能的機器人。此外，像他們這樣的模型可以用于從視頻或閉路電視錄像中檢測異常行為或行走模式，例如識別有自殺風險的個人，并向當局或醫療服務提供者報警。他們的模型也可以應用于視覺特效和動畫行業，可以幫助設計師和動畫師創造出有效表達特定情感的虛擬角色。