Facebook AI研究員敦促同行走出現實世界

研究員敦促同行走出現實世界

來自Atari 的視頻游戲Breakout于1976年首次登場。游戲，一個簡單的問題就是水平移動槳以將球彈回墻壁并切斷它們，已經成為培訓人工智能的支柱。

但也許是時候突破突圍了。

周三早上，Facebook的人工智能研究部門的科學家Joelle Pineau在著名的蒙特利爾機器學習會上發表了關于機器學習的會議。

此外：IBM，Apple和Facebook代表了對于值得尊敬的AI會議的新業務傾向

Pineau的直接關注點是，盡管有很多優點，但今天在機器學習方面的工作太多，也沒有留下嚴謹的方面。例如，許多研究是在模擬世界中完成的，在計算機內以原始方式構建的東西。Pineau建議，這些模擬可能有助于使結果重現，這很好，但它們錯過了自然界的許多復雜性，這可能會使工作變得不那么有意義，不那么嚴謹。

“我喜歡模擬器有助于重復性，”Pineau說。“我們希望獲得這種便利，但我們也希望包含一些現實世界。

我們必須打破這些模擬器并解決現實世界，”她敦促道。

Pineau專注于她熱衷的機器學習，稱為強化學習，它廣泛使用模擬器。強化學習技術是關于使計算機“代理”能夠在環境中采取一系列動作，并且基于最大化代理接收的獎勵來找出在可能的動作之間做出良好選擇的規則。

此外：Facebook的目標是在最新的人工智能研究中更加吸引人類

Atari的Breakout是眾多視頻游戲中的一種，用于模擬代理商做出選擇的環境。這種模擬訓練導致計算機越來越超越人類在游戲中的表現。許多研究人員正在探索使用強化學習的有希望的途徑，例如用于嵌入體內的“神經刺激”裝置的控制系統，可以幫助預防癲癇發作。

但是Pineau暗示強化學習的這種關鍵用途需要最終解決現實世界的復雜性。

對此事的反思，Pineau和她的團隊想知道，“我們可以通過一些自然世界的信號讓這更有趣嗎?” 他們將街景的視頻插入Breakout的背景中，并使用新的，更“嘈雜”的環境重新訓練強化學習系統。

此外：Facebook Oculus研究制作了John Oliver和Stephen Colbert的奇怪混搭

“視頻是無窮無盡的自然噪音源，”Pineau觀察到。正如她所指出的，當人們被要求用視頻背景玩游戲時，“它有點難，但它們仍然可以玩。” 這意味著，如果計算機可以成功應對這種逆境，那么在添加噪聲時會出現挑戰，這些挑戰可以產生更令人印象深刻的結果。

“我們可以做很多事情來將環境中的自然噪音融入其中，”Pineau說。“我們可以在模擬器的真實性中設置更高的標準。

另外：Pineau的演講幻燈片可在NeurIPS網站上下載

“從靜態圖像到視頻背景，我們可以進一步發展。”

這包括“創建照片逼真的模擬環境”，她說。她展示了模擬房屋內部的一些圖像，真實世界的圖像被嫁接到空間，直到反射鏡子。