用人工智能動作捕捉翻譯“行為語言”

你可能已經看過好萊塢明星的“動作捕捉”套裝，穿著全身服裝，充??滿傳感器，讓電腦將它們變成綠巨人或龍或魔法野獸。

現在，普林斯頓教授Mala Murthy和Joshua Shaevitz的實驗室之間的合作更進一步，利用人工智能(AI)的最新進展，在現有視頻中自動跟蹤動物的個體部位。

他們的新工具LEAP Estimates Animal Pose(LEAP)可以在幾分鐘內訓練，以高精度自動跟蹤數百萬幀視頻中動物的各個身體部位，而無需添加任何物理標記或標簽。

“該方法可廣泛用于動物模型系統，它可用于測量具有基因突變或藥物治療的動物的行為，”分子生物學和普林斯頓神經科學研究所(PNI)副教授Murthy說。 。

詳細介紹新技術的論文將發表在2019年1月出版的“自然方法”雜志上，但其5月發布的開放版本已經導致該軟件被許多其他實驗室采用。

當研究人員將LEAP與他們實驗室開發的其他定量工具結合起來時，他們可以通過觀察動物身體運動的模式來研究他們所謂的“行為語言”，物理學教授和Lewis-Sigler綜合基因組學研究所的Shaevitz說。 。

“這是一個靈活的工具，原則上可以用于任何視頻數據，”作為該論文第一作者的PNI研究生Talmo Pereira說。“它的工作方式是在幾個視頻中標記幾個點，然后神經網絡完成其余部分。我們提供了一個易于使用的界面，任何人都可以將LEAP應用到自己的視頻中，而無需任何先前的編程知識。 “

當被問及LEAP是否對大型哺乳動物的效果與大多數初始受試者的蒼蠅和老鼠一樣好時，Pereira立即制作了一個動態標記的長頸鹿視頻，取自肯尼亞Mpala研究中心的現場飼料，普林斯頓是一個管理合作伙伴的實地研究站。

“我們從Mpala研究站拍攝了一只步行長頸鹿的視頻......并在30個視頻幀中標記了點，這花了不到一個小時，”佩雷拉說。“LEAP隨后能夠在幾秒鐘內跟蹤整個視頻的剩余部分(大約500幀)。”

以前開發可以跟蹤人體運動的AI工具的努力依賴于大量的手動注釋數據訓練集。這使得軟件可以在各種數據上穩健地工作，具有截然不同的背景或照明條件。

“在我們的案例中，我們優化了類似的方法來處理在實驗室環境中收集的數據，其中條件在記錄中是一致的，”Murthy說。“我們建立了一個系統，允許用戶選擇適合用戶收集的數據類型的神經網絡，而不是受到其他研究人員或公司工作的限制。”

該項目源于Murthy實驗室的高級論文學生，2018年級的Diego Aldarondo和他的研究生導師Pereira之間的獨特合作，他由Murthy和Shaevitz共同建議。

“迭戈正在探索使用深度神經網絡通過他在普林斯頓的一個計算機科學課程中注釋動物行為數據，并在實驗室與Talmo進行深夜聊天，他意識到這些方法可以有力地應用于他們自己的數據：果蠅在求偶儀式中互動的視頻，“Murthy說。“合作從那里開始，共同合作令人難以置信 - 迭戈和Talmo展示了這些AI方法的有效性。”

英國皇家獸醫學院結構與運動實驗室的高級講師Monica Daley表示，這項工作在神經科學之外也具有巨大的潛力，他沒有參與這項研究。

“我的大部分研究旨在了解動物如何在不同的地形和環境條件下有效地移動，”戴利說。“該領域最大的持續挑戰之一是從視頻片段中提取有關動物運動的有意義的信息。我們要么手動處理視頻，需要花費數小時的繁瑣工作，要么專注于可以自動化的非常簡單和有限的分析。在本文中，我們有可能比以前更加自動化勞動密集型工作，這可以讓我們研究更多種類的動物運動行為。“

一旦他們擁有運動和行為數據庫，團隊中的神經科學家就可以與他們背后的神經過程建立聯系。這將使研究人員“不僅可以更好地了解大腦如何產生行為，”Shaevitz說，“而且還要探索依賴計算機解釋某人行為的未來診斷和療法。”

哈佛大學的研究人員在夏季分享了一個類似的工具，他們使用現有的神經網絡架構，而普林斯頓大學的團隊創建了自己的工具。“我們的方法和他們的方法有不同的優勢，”Murthy說。“現在這是一個令人難以置信的令人興奮的領域，在開發用于研究行為和神經活動的AI工具方面有很多活動。”

“我們使用不同的方法，通過專注于快速專注于新數據集，更小，更精簡的網絡可以實現高精度，”佩雷拉說。“更重要的是，我們表明現在有通過AI進行動物姿勢跟蹤的易用選項，我們希望這可以鼓勵該領域開始采用更加量化和精確的方法來衡量行為。”

“在過去五年中，神經科學在技術觀察和操縱大腦活動方面取得了巨大進步，”共同作者，分子生物學和PNI教授Samuel Wang說。“現在，行為的自動分類為該技術增添了重要的補充。普林斯頓正在成為計算神經倫理學萌芽領域的中心樞紐。”