使用單個可穿戴式攝像機的人體動作捕捉系統

東京工業大學(Tokyo Tech)和卡內基梅隆大學的研究人員共同開發了一種新的人體動作捕捉系統，該系統由安裝在用戶胸部的單個超寬魚眼攝像頭組成。其系統的簡單性可能有利于體育，醫療和娛樂領域的廣泛應用。

由于集成深度學習的最新發展，基于計算機視覺的技術正在迅速發展。尤其是，人類動作捕捉是一個非常活躍的研究領域，例如推動了機器人技術，計算機生成的動畫和體育科學領域的發展。

在專門配備的工作室常規動作捕捉系統通常依賴于具有固定在天花板和墻壁是由一個人捕捉運動穿幾個同步的攝像機機身套裝配有眾多的傳感器。這樣的系統通常非常昂貴，并且在穿戴者可以移動的空間和環境方面受到限制。

現在，由東京工業大學的小池秀樹(Hideki Koike)領導的一組研究人員展示了一種新的運動捕捉系統，該系統由安裝在用戶胸部的單個超寬魚眼攝像機組成。他們的設計不僅克服了現有系統的空間限制，而且具有成本效益。

該系統名為MonoEye，可以捕獲用戶的身體運動以及用戶的視角或“視口”。研究人員說：“我們的超廣角魚眼鏡頭具有280度的視野，它可以捕獲用戶的四肢，面部和周圍環境。”

為了實現強大的多模式運動捕捉，該系統已設計了三個深度神經網絡，能夠實時估計3-D人體姿勢，頭部姿勢和相機姿勢。

研究人員已經使用廣泛的合成數據集訓練了這些神經網絡，該數據集包括680,000張具有各種身體形狀，衣服，動作，背景和光照條件的人的渲染圖，以及16,000張逼真的圖像幀。

但是，由于合成數據集和實際數據集之間不可避免的領域鴻溝，仍然存在一些挑戰。研究人員計劃繼續使用更多具有真實感的圖像來擴展其數據集，以幫助最大程度地減少這一差距并提高準確性。

研究人員預想，將來可以將這種安裝在胸部的攝像頭轉換成日常用品，例如領帶夾，胸針或運動裝備。

該團隊的工作將在2020年10月20日至23日舉行的第33屆ACM用戶界面軟件和技術研討會(UIST)上發表，這是人機界面創新的領先論壇。