Facebook正在使用無人監督的機器學習進行翻譯

Facebook已經開始使用無監督機器學習來翻譯其平臺上的內容，因為它沒有很多從一種語言到另一種語言的翻譯示例 - 例如從英語到烏爾都語。

該方法由Facebook AI Research(FAIR)設計，并在FAIR與公司應用機器學習部門的合作中在平臺上使用，FAIR巴黎實驗室主任Antoine Bordes在電話采訪中告訴VentureBeat。

該方法與從一種語言到另一種語言的100,000次翻譯一樣執行與監督模型一樣，并且它優于Facebook幾乎沒有示例的語言配對系統。

“當你處理像英語 - 烏爾都語這樣的案例時，[翻譯]很少，我們的系統表明我們的系統比監督系統更好。因此，訓練無監督系統比沒有足夠數據的監督系統更好，“Bordes說。

Facebook AI研究人員Guillaume Lample和Marc'Aurelio Ranzato領導的工作成果將于今年秋季在EMNLP 2018上展出。

博爾德斯是一名早期的公平競爭雇員，并將這項研究稱為他見過的最好的研究。Bordes表示，這項研究將注意力放在翻譯上，這是Facebook的一項重要任務，也是自2013年開始以來FAIR一直關注的一個問題。

“我們現在可以去一個人們會說一種沒人會說的語言的星球 - 好吧，外星人 - 你實際上可以嘗試對那里所說的內容進行合理的翻譯，”Bordes說。“你可以去一本古老的手稿上找到尚未破譯的語言，你實際上可以了解它的作用，所以這真的是這項工作取得的突破，我認為這就是為什么我是非常興奮。“

與其他FAIR項目一樣，AI系統將是開源的 ，可以在GitHub上下載。今年早些時候，Facebook 開源Translate，一種目前用于在Facebook上進行翻譯的人工智能系統。

Translate等系統需要培訓大量標記數據。例如，完成從法語到英語的翻譯需要數百萬個樣本句子來創建一個能夠理解這兩種語言的系統。因此，當Facebook沒有很多從一種特定語言到另一種語言的翻譯示例時，翻譯很困難。

現在用于這些案例的人工智能系統與三個要素相結合：逐字翻譯，語言模型和反向翻譯。

訓練逐字翻譯以基于從前面的五個單詞和句子中的特定單詞之后的五個單詞繪制的上下文來預測單詞。這個詞嵌入方法是在去年秋天Lample和Ranzato共同撰寫的一篇論文中提出的。

然后，用大量數據訓練的語言模型(如書籍或其他書面文本)用于排列對于英語使用者或烏爾都語說話者有意義的結構中的句子。

最后，使用反向翻譯來改進使用逐字翻譯和語言模型進行的翻譯。他說，這些方法并不新鮮，但三者的結合正在產生結果。

“使用這兩個系統[和]在兩種語言之間來回翻譯，我可以將它們一起訓練以試圖相互改進，所以這真的是本文的核心，使用[翻譯模型]這個詞，使用語言模型做第一次翻譯，然后用反向翻譯的想法試圖改進，“他說。

Facebook將在未來探索這種人工智能系統以進行其他形式的翻譯，但需要更多數據并與專業翻譯人員合作來驗證結果，Bordes說。