基于深度學習的系統用于估計自由移動的獼猴的3D姿勢

為了更好地了解人類的行為和認知以及它們的神經基礎，研究人員經常研究具有類似特征的其他哺乳動物。這些研究中最常見的物種之一是恒河猴，這是一種古老的猴子，原產于南亞，中亞和東南亞。

恒河猴作為無數神經科學，心理學醫學和人類學研究的動物模型，因為它們與人類共享許多行為模式和生物學特征。例如，它們被證明對研究感染，中風，艾滋病和其他健康狀況有用。

明尼蘇達大學的研究人員最近開發了OpenMonkeyStudio，這是一個基于深度學習的運動捕獲系統，可用于研究自由移動的獼猴的行為。該系統發表在《自然通訊》上的一篇論文中，可以估計3-D獼猴自由移動的姿勢，這對于研究動物彼此之間以及與周圍環境的相互作用特別有價值。在這種情況下，“姿勢”一詞是指動物的主要身體部位相互之間以及周圍環境的位置。

研究人員在論文中解釋說：“目前，可以通過基于商業標記的運動捕捉系統(例如，Vicon，OptiTrack和PhaseSpace)以高精度完成姿態估計，” “但是，獼猴特別不適用于這些基于標記的系統。”

由于多種原因，大多數使用標記的傳統捕獲系統很難應用于獼猴。首先，獼猴的皮毛長而致密，這使標記物的附著特別具有挑戰性，并且高度靈活的皮膚會導致標記物隨著動物在環境中的移動而移動。另外，由于獼猴是高度敏捷和好奇的生物，因此它們通常會試圖去除標記并在被迫穿緊身衣或夾克時感到非常不舒服。

因此，研究人員一直在嘗試設計不依賴可有效跟蹤獼猴運動的標記的運動捕捉系統。盡管基于深度學習的圖像中人體姿勢估計技術可能是可行的解決方案，但它們通常需要大量的訓練數據才能表現良好，有時還需要手動對其進行注釋。

明尼蘇達大學的團隊開發的OpenMonkeyStudio是一種無標記的3-D姿勢估計系統，它是使用完全監督的學習方法進行訓練的。與先前提出的用于跟蹤獼猴運動的深度學習技術相反，該系統不需要在大量現有的手動注釋數據集上進行訓練。

研究人員在論文中寫道：“我們的系統使用62臺攝像機，這些攝像機可提供多視圖圖像流，這些圖像流可通過利用3-D多視圖幾何來顯著擴展注釋數據。” “盡管如此大量的攝像頭對于訓練姿勢檢測器至關重要，但生成的模型可以在攝像頭較少的其他系統中使用(例如，由其他實驗室使用)，而無需進行訓練。”

研究人員通過一系列涉及四只雄性恒河猴的實驗對OpenMonkeyStudio進行了評估。在這些測試中，他們的系統達到了驚人的精度，優于當今市場上一些最佳的基于標記的運動捕捉系統(即OptiTrack，NaturalPoint，Corvallis和OR)。此外，發現OpenMonkeyStudio可以很好地概括不同獼猴，并且還可以同時跟蹤兩個對象的運動。

除了開發可以幫助研究獼猴行為的運動捕捉系統之外，研究人員還編譯了一個新的數據集，其中包含195,228個帶注釋的圖像，稱為OpenMonkeyPose。將來，該數據集(可在GitHub上獲得)可用于訓練基于深度學習的替代系統，以跟蹤恒河猴的運動。