Facebook的早期門戶網站原型轉向觀看視頻主題

Facebook工程師今天在一篇博客文章中表示，電動相機也被認為是不切實際的，因為它沒有提高Portal的可靠性。

建立門戶網站的工作始于兩年前，作為在加利福尼亞州門洛帕克的Facebook總部探索硬件產品的秘密8號樓項目的一部分，門戶團隊負責人和Facebook副總裁拉法卡馬戈在去年秋天該設備首次亮相之前告訴VentureBeat。

Portal團隊現在是Facebook的AR / VR部門的一部分。

使用Facebook Messenger進行門戶視頻通話依賴于智能相機的計算機視覺，縮放和移動到框架拍攝，并占據房間中每個人的情況 - 即使是距離相機20英尺的人。魚眼廣角相機鏡頭的140度視野意味著Portal無需移動即可查看正在發生的事情。

智能音量還用于放大，縮小和調節音量以優化通話聲音。

智能相機使用Mask R-CNN2Go運行在設備上進行機器學習，這是一種源自Mask R-CNN的計算機視覺系統，該系統于2017年在國際計算機視覺會議(ICCV)上獲得最佳論文獎。

該系統使用姿勢識別來掃描每秒30幀以查找人物對象并正確地構圖每個鏡頭。除了人工智能之外，相機還會考慮人們對相機移動的反應方式以及電影制作者關于如何拍攝照片的建議。

Facebook的門戶網站AI和移動視覺團隊采取措施解決這樣一個事實，即使用GPU運行的系統必須減少到幾兆到小到足以在高通公司的Snapdragon神經處理引擎上運行。

“為了補償，我們開發了幾種策略，包括通過對訓練數據集中的低光示例應用數據增強來改善低光性能，并平衡多種姿勢檢測方法(例如檢測對象的頭部，軀干和整個身體) 。我們使用額外的預處理來區分彼此接近的多個人，“由軟件工程師Rahul Nallamothu和Eric Hwang，研究科學家Peter Vajda和工程總監Matt Uyttendaele撰寫的博客文章說。

在未來，Facebook計劃讓智能相機智能化視頻通話環境，以便更好地確定如何構建鏡頭。

“當他或她在沙發上看電視時，我們可能想要以不同的方式拍攝不同的鏡頭，并使用不同類型的相機移動，相比之下，當他或她在沙發上看電視時，”該帖子寫道。

Portal與亞馬遜的Echo Show和Google的Home Hub的智能顯示器 以及JBL，Sony和Lenovo等制造商的顯示器競爭。智能顯示器與Google助手和亞馬遜的Alexa等AI助手互動。Portal也可以與Alexa交談。

在去年年底宣布的一系列更新中，Portal獲得了一系列新功能，包括網絡瀏覽器，即時游戲和自定義視頻通話控制。