DeepLabCut實時無標記運動捕捉

《指環王》中的Gollum，《復仇者聯盟》中的Thanos，《星球大戰》中的Snoke，《阿凡達》中的Na'vi –我們都經歷了動作捕捉的奇妙之處，這是一種電影技術，可以追蹤演員的動作，并將其轉換為計算機動畫，以創造出動人的，動人的，甚至可能有一天獲得奧斯卡獎的數字角色。

但是，許多人可能沒有意識到，動作捕捉并不僅限于大屏幕，而是延伸到了科學領域。行為科學家一直在開發并使用類似的工具來研究和分析各種條件下動物的姿勢和運動。但是運動捕捉方法還要求對象穿著帶有標記的復雜服裝，以使計算機“知道”人體各部分在三維空間中的位置。對于專業演員來說，這可能還不錯，但動物往往不愿打扮。

為了解決這個問題，科學家們已經開始將運動捕捉與深度學習相結合，這種方法可以讓計算機從本質上教自己如何優化執行任務，例如識別視頻中的特定“關鍵點”。這個想法是教計算機無需運動捕捉標記就可以跟蹤甚至預測動物的運動或姿勢。

但是，要想在行為科學中發揮有意義的作用，無標記跟蹤工具還必須允許科學家從字面上實時地快速控制或刺激動物的神經活動。在嘗試找出神經系統的哪一部分構成特定姿勢運動的實驗中，這一點尤其重要。

DeepLabCut：深度學習，無標記姿勢跟蹤

率先采用無標記方法的科學家之一是Mackenzie Mathis，他最近從哈佛大學加入EPFL的生命科學學院。Mathis的實驗室一直在開發一個名為DeepLabCut的深度學習軟件工具箱，該工具箱可以直接從視頻中實時跟蹤和識別動物運動。現在，馬蒂斯和她的哈佛大學博士后研究員加里·凱恩(Gary Kane)在eLife上發表的一篇論文中，提出了一個名為DeepLabCut-Live的新版本!(DLC-Live!)，它具有低延遲(在超過100 FPS的情況下，在15毫秒之內)-或與我們提供的用于向前預測姿勢的模塊一起可以實現零延遲反饋，并且可以集成到其他軟件包中。

DeepLabCut最初是為了研究和分析動物響應其環境變化而適應其姿勢的方式而開發的。“我們對神經回路如何控制行為感興趣，特別是對動物如何適應環境的快速變化很感興趣，”馬蒂斯說。

“例如，您將咖啡倒入杯子中，當咖啡充滿時，咖啡就具有一定的重量。但是，當您喝咖啡時，重量會發生變化，但是您無需積極考慮改變抓地力或需要改變多少抬起手臂伸到嘴里。這是我們很自然的事情，我們可以很快適應這些變化。但這實際上涉及從皮質到脊髓的大量相互連接的神經回路。”

DLC-Live!是最新的“動物姿勢估計程序包”的新更新，該程序使用量身定制的網絡根據視頻幀預測動物的姿勢，離線可在標準GPU上實現2500 FPS 。它的高通量分析使其對于研究和探究行為的神經機制具有不可估量的價值。現在，有了這個新程序包，它的低延遲使研究人員可以實時給動物反饋并測試特定神經回路的行為功能。而且，更重要的是，它可以與姿勢研究中使用的硬件接口，以向動物提供反饋。

“這對于我們自己的研究程序中的事情很重要，在該程序中您希望能夠操縱動物的行為，”馬蒂斯說。“例如，在我們進行的一項行為研究中，我們訓練鼠標在實驗室中玩電子游戲，我們希望在真正特定的時間窗口內關閉特定的神經元或大腦回路，即觸發激光進行光遺傳學或觸發外部獎勵。”

她補充說：“我們希望使DLC-Live!超級用戶友好，并使其適用于任何環境中的任何物種。” “它實際上是模塊化的，可以在許多不同的環境中使用;運行實驗的人可以使用我們的圖形用戶界面來設置條件以及他們想要輕松觸發的條件。我們還內置了與其他常見神經科學平臺配合使用的能力。” 其中兩個常用的平臺是Bonsai和Autopilot，在論文中，開發了這些軟件包的Mathis及其同事展示了DLC-Live!可以輕松地與他們合作。

“這是經濟的，具有可擴展性，我們希望這是一項技術進步，可以提出更多有關大腦如何控制行為的問題，”馬蒂斯說。