讀取肢體語言的計算機

卡內基梅隆大學機器人研究所的研究人員使計算機能夠實時了解視頻中多人的身體姿勢和動作 - 首次包括每個人手指的姿勢。

這種新方法是在Panoptic Studio的幫助下開發的，Panoptic Studio是一個嵌有500個攝像機的兩層圓頂。從該設施的實驗中獲得的見解現在可以使用單個相機和筆記本電腦檢測一組人的姿勢。

機器人學副教授Yaser Sheikh表示，這些用于跟蹤二維人體形態和運動的方法為人們和機器之間的相互作用開辟了新的方式，人們使用機器更好地了解周圍的世界。例如，識別手部姿勢的能力將使人們能夠以新的和更自然的方式與計算機交互，例如僅通過指向事物與計算機通信。

檢測個體之間非語言交流的細微差別將允許機器人在社交空間中服務，允許機器人感知周圍的人正在做什么，他們處于什么樣的情緒以及他們是否可以被打斷。一輛自動駕駛的汽車可以通過監控肢體語言來預警行人即將步入街道。使機器能夠理解人類行為也可以為自閉癥，閱讀障礙和抑郁癥等疾病提供行為診斷和康復的新方法。

“我們與我們的身體運動幾乎一樣，與我們的聲音溝通，”謝赫說。“但計算機或多或少地對它視而不見。”

在體育分析中，實時姿勢檢測將使計算機不僅可以跟蹤每個玩家在游戲領域的位置，就像現在的情況一樣，而且還可以知道玩家正在做什么，他們的手臂，腿和在每個時間點頭。這些方法可用于直播活動或應用于現有視頻。

為了鼓勵更多的研究和應用，研究人員已經發布了用于多人和手勢估計的計算機代碼。Sheikh說，它已被研究小組廣泛使用，包括汽車公司在內的20多個商業團體已表示有興趣對該技術進行許可。

Sheikh及其同事將于7月21日至26日在檀香山舉行的CVPR 2017計算機視覺和模式識別會議上報告他們的多人和手勢檢測方法。

實時跟蹤多個人，特別是在他們可能彼此接觸的社交場合中，會帶來許多挑戰。簡單地使用跟蹤個人姿勢的程序在應用于組中的每個個體時效果不佳，特別是當該組變大時。謝赫和他的同事采用了自下而上的方法，首先將所有身體部位定位在一個場景中 - 手臂，腿，臉等 - 然后將這些部分與特定的個體聯系起來。

手檢測的挑戰更大。當人們用手握住物體并做出手勢時，相機不可能同時看到手的所有部分。與面部和身體不同，大型數據集不存在手部圖像，這些圖像使用部件和位置標簽進行了費力的注釋。

但是對于每一只只顯示手的一部分的圖像，經常會出現另一個不同角度的圖像，并且可以看到手的全部或互補視圖，Hanbyul Joo博士說。機器人學的學生。這就是研究人員利用CMU的多攝像機Panoptic Studio的地方。

“單次拍攝可以讓你看到一個人手的500個視圖，另外還可以自動注釋手的位置，”Joo解釋道。“然而，手太小，不能被我們的大多數相機注釋，因此在這項研究中，我們只使用了31臺高清攝像機，但仍然能夠建立一個龐大的數據集。”

Joo和Tomas Simon，另一位博士。學生，用他們的手來產生數以千計的觀點。

“Panoptic工作室加強了我們的研究，”謝赫說。它現在用于通過聯合訓練來改善身體，面部和手部探測器。此外，隨著工作從人類的二維模型轉變為三維模型，該設施自動生成??帶注釋圖像的能力將至關重要。

謝赫說，當Panoptic工作室在十年前在國家科學基金會的支持下建成時，尚不清楚它會產生什么樣的影響。

“現在，我們能夠突破許多技術障礙，主要是因為10年前NSF的資助，”他補充說。“我們正在共享代碼，但我們也在共享Panoptic Studio中捕獲的所有數據。”