Facebook的Oculus開源DeepFocus代碼以獲得更逼真的VR圖像

Facebook Inc.的Oculus虛擬現實團隊今天將其DeepFocus軟件背后的代碼開源，該軟件用于為VR頭盔創建更逼真的視覺效果。

DeepFocus軟件于5月首次引起公眾關注，當時Oculus展示了一款名為Half Dome的新VR原型耳機。原型耳機具有“可變焦”顯示屏，可在設備內部移動屏幕，以模仿用戶的眼睛如何切換焦點。

DeepFocus正在嘗試使用VR頭戴式耳機解決一種現象，即“聚散-容納沖突”，這種現象是由于顯示器離觀看者的眼睛太近而引起的。這種“沖突”發生在眼睛指向的地方和眼球的透鏡聚焦的地方之間。這可能會限制某些人佩戴VR耳機而不會感到某種不適的時間。

“我們的眼睛就像微型相機：當它們聚焦在給定的物體上時，場景中不同深度的部分看起來很模糊，”從事DeepFocus項目的Facebook Reality Labs視覺科學家Marina Zannoli寫道。Oculus團隊的博客文章。那些模糊的區域可以幫助我們的視覺系統理解世界的三維結構，并幫助我們決定下一步將焦點放在哪里。雖然可變焦VR頭戴設備可以在觀看者所看到的任何地方提供清晰的圖像，但DeepFocus允許我們按照真實世界中的外觀來渲染其余場景：自然模糊。

DeepFocus通過使用人工智能軟件創建所謂的“散焦效果”來幫助解決VAC問題，從而使圖像的一部分顯得比其他部分清晰。Oculus的研究人員說，這有助于減少不必要的眼睛疲勞和視覺疲勞，對于希望整天沉浸在VR中的人來說至關重要。

Oculus在一篇技術論文中說，DeepFocus是第一個可以實時產生散焦效果的軟件，它可以使用戶當前未聚焦的圖像的每個部分產生逼真的模糊效果，類似于人眼的實際工作方式。Oculus研究人員說，這個想法是“忠實地再現光線照射到人類視網膜上的方式”。

實時創建散焦效果涉及將深度學習工具與VR游戲引擎提供的顏色和深度數據配對。研究團隊創建了196,000個對象的隨機圖像，使用它們來訓練系統以根據耳機佩戴者聚焦的圖像部分正確地渲染模糊。

Oculus研究科學家Anton Kaplanyan說：“通過深度學習，我們的系統能夠掌握復雜的效果和關系，例如前景和背景散焦，以及遮擋邊界處的正確模糊。” “通過生成豐富的地面實況示例數據庫，我們能夠涵蓋更廣泛的散焦效果，并為景深合成設定了新的標準。”

Oculus團隊表示，做出開源DeepFocus的決定是為了讓更廣泛的VR系統開發人員，視覺科學家和感知研究人員可以從其知識中受益。顯而易見的好處是開發人員將能夠為VR系統構建更好的應用程序，但是尚不清楚Oculus何時計劃發布其Half Dome頭戴式耳機。Oculus只會說DeepFocus軟件對下一代VR頭戴式耳機設計很有用。