新系統結合了智能手機視頻以創建4D可視化

卡內基梅隆大學的研究人員證明，他們可以結合使用分開的攝像機在“野外”拍攝的iPhone視頻來創建4D可視化效果，使觀看者可以從各個角度觀看動作，甚至可以擦除暫時遮擋視線的人或物體。

想象一下一個婚禮招待會的可視化，可以從與攝像機一樣多的角度看到舞者，而走在新娘聚會前的醉漢無處不在。

博士Aayush Bansal表示，可以在婚禮或生日慶典上獨立于各個有利位置拍攝視頻。CMU機器人學院的學生。他補充說，還可以將演員錄制在一個場景中，然后將其插入到另一個場景中。

班薩爾說：“我們僅受攝像機數量的限制，對可以使用多少個視頻源沒有上限。

Bansal和他的同事在上個月的計算機視覺和模式識別虛擬會議上介紹了他們的4-D可視化方法。

“虛擬現實”并不是什么新鮮事物，但是在過去，它僅限于工作室設置，例如CMU的Panoptic Studio，該工作室在其大地測量墻壁中嵌入了500多個攝像機。將不可能將多個獨立手持攝像機拍攝的真實場景的視覺信息融合到一個可以重建動態3D場景的單一綜合模型中。

Bansal和他的同事通過使用卷積神經網絡(CNN)解決了這一局限，CNN是一種深度學習程序，已被證明擅長分析視覺數據。他們發現可以使用場景特定的CNN來組成場景的不同部分。

CMU的研究人員在匹茲堡國家鳥舍展示了使用多達15部iPhone捕捉各種場景的方法，這些場景包括舞蹈，武術表演甚至火烈鳥。

班薩爾說：“使用iPhone的目的是表明任何人都可以使用該系統。” “世界就是我們的工作室。”

該方法還釋放了電影行業和消費類設備中的大量潛在應用程序，特別是隨著虛擬現實頭戴式耳機的普及持續增長。

盡管該方法不一定能捕獲完整的3D細節的場景，但是系統可以限制播放角度，因此不完整的重建區域不可見，并且3D圖像的幻覺也不會破碎。