設計類蠅機器人的深度學習方法

“只是想想蒼蠅能做什么，” EPFL腦思維研究所的實驗室Pavan Ramdya教授和EPFL計算機科學學院的Pascal Fua教授的實驗室領導了這項研究。“蒼蠅可以爬過輪式機器人無法做到的地形。”蠅并不完全對人類具有吸引力。我們正確地將他們與日常生活中令人垂涎的經歷聯系在一起。但是，有一條出乎意料的救贖之路：機器人。事實證明，蒼蠅的某些特征和能力可以為機器人系統的新設計提供依據。

拉姆迪亞說：“與大多數脊椎動物不同，蒼蠅幾乎可以爬任何地形。” “它們可以粘在墻壁和天花板上，因為它們的腿尖上有粘合墊和爪子。這使它們基本上可以移動到任何地方。這也很有趣，因為如果您可以將其放在任何表面上，都可以通過等待來管理能量消耗在適當的時候采取行動。”

正是這種提取控制飛行行為原理的構想為機器人的設計提供了動力，該機器人推動了DeepFly3D的發展，DeepFly3D是果蠅果蠅(Drosophila melanogaster)(一種幾乎在整個生物學中普遍使用的模型生物)的運動捕捉系統。

在拉姆迪亞(Ramdya)的實驗裝置中，蒼蠅在微型浮球之類的微小浮球上行走，而七個攝像頭記錄了它的每一次運動。蒼蠅的頂側被粘在一個固定的舞臺上，這樣當它在球上行走時它始終保持在原位。然而，蒼蠅“相信”它正在自由移動。

然后，由SemihGünel(博士)開發的深度學習軟件DeepFly3D處理收集到的相機圖像。在Ramdya和Fua的實驗室工作的學生。拉姆迪亞說：“這是一個必要的，跨學科的合作和變革的典范。” “通過利用計算機科學和神經科學，我們解決了長期的挑戰。”

DeepFly3D的特殊之處在于，它可以推斷出蒼蠅甚至其他動物的3D姿態，這意味著它可以以前所未有的分辨率自動預測并進行行為測量，從而適用于各種生物學應用。該軟件無需手動校準，它使用相機圖像自動檢測并糾正在計算飛行姿勢時所犯的任何錯誤。最后，它還使用主動學習來提高自己的表現。

DeepFly3D為在三個維度上高效，準確地模擬果蠅的運動，姿勢和關節角度開辟了一種途徑。這可能會啟發一種自動建模其他生物的3-D姿態的標準方法。

拉姆迪亞說：“果蠅作為模型有機體，很好地平衡了可處理性和復雜性。” “如果我們了解它是如何工作的，我們會對機器人技術和醫學產生重要影響，也許最重要的是，我們可以在相對較短的時間內獲得這些見解。”