Facebook公開有關為其Oculus虛擬現實耳機提供動力的AI

對于虛擬現實耳機，透視是關鍵。當用戶移動視線或四處移動時，頭戴式受話器需要在他們眼前重新對準場景，以適應新的視角。過渡還必須以閃電般的速度進行，以避免破壞幻想。

由于有了一個名為Oculus Insight的系統，Facebook Inc.得以在其Oculus VR設備系列中實現了所有這些工作，并在 今天進行了詳細公開。Insight使用人工智能來幫助Facebook的耳機實時跟蹤佩戴者的位置和頭部方向。

首先，一些背景。Facebook今年推出了兩款VR頭戴設備：第一款被稱為Oculus Rift S，必須與計算機捆綁在一起，第二款是Oculus Quest，可以無線工作。該公司為這兩種產品都提供了一對手持控制器，供穿戴者使用以與虛擬對象進行交互。

Oculus Insight依靠控制器和頭戴式耳機中的傳感器來跟蹤用戶的位置。核心數據由所謂的慣性測量單元提供，這些慣性測量單元收集有關設備線性加速度及其旋轉速度的信息。

洞察力可以使用這些讀數粗略了解用戶的位置和頭角，但僅靠這些信息是不夠的。這是因為慣性測量單位容易出現微小的誤差，如果不加以檢查，會導致主要數據誤差的增加。Insight采用了兩種不同的方法來消除測量誤差，一種用于用戶的VR頭戴式耳機，另一種用于手中的控制器。

為了跟蹤耳機，系統利用了Oculus Rift S和Oculus Quest內置的攝像頭。Insight將用戶環境的靜態功能用作位置指示器，以平衡慣性測量單位數據中的誤差。

“來自耳機中相機的圖像數據有助于生成房間的3D地圖，精確定位地標，例如家具的角落或地板上的圖案。Facebook的研究員Joel Hesch，Anna Kozminksi和Oskar Linde在博客文章中解釋道：“反復觀察這些標志性建筑可以使Insight補償漂移。”

第二種糾錯方法有助于跟蹤控制器在用戶手中的位置。控制器外部的二極管會發出人眼看不見的紅外光，但可由Oculus頭戴式耳機拾取，從而確定手持式配件的相對位置。

Oculus Insight每毫秒刷新一次位置測量值，以提供平穩的過渡。另外，Facebook的工程師在系統中內置了一個預測引擎，該引擎可以預測用戶的頭和手在幾毫秒內的位置，從而使內置的AI算法可以進一步優化性能。

Oculus Insight的創新成果可能不僅對VR頭戴設備具有更大的價值。系統所基于的核心位置跟蹤技術，同時定位和地圖繪制(SLAM)也用于包括自動駕駛在內的其他領域。

Facebook的Joel Hesch，Anna Kozminksi和Oskar Linde寫道：“這項工作可能對研究SLAM的研究人員以及任何受益于低資源，高精度房間映射的系統產生廣泛影響，例如數字助理和物理機器人。 。他們補充說，該技術將來可能有助于制造“具有空間感知能力的全天可穿戴AR眼鏡”。