Facebook開源用于構建自然語言系統的PyText框架

Facebook Inc.希望幫助開發人員更輕松地構建和部署基于人工智能的自然語言處理系統。

為此，今天它開放了一個新的名為PyText的NLP建模框架的采購，該框架據說有助于彌合嘗試使用此類系統與使其在生產中投入使用之間的差距。

Facebook的開發團隊在博客中表示，PyText很有用，因為構建NLP系統所需的神經網絡在傳統上一直讓人頭疼。這是因為它說的是在針對實驗優化的框架和針對生產優化的框架之間進行權衡。

構建NLP系統通常需要對數十種AI模型進行廣泛的培訓和測試。大部分的培訓和測試都是在“研究型框架”上完成的，Facebook表示這非常有用，因為它們提供了一個簡單的界面，可以加快這些模型的創建速度。

但是研究框架不太適合在生產環境中運行NLP系統，因為這些系統使用的模型會增加等待時間和內存使用。Facebook說，現有的生產框架可以解決這些問題，但是顯然它們使創建文本序列的動態表示變得困難，這對于任何可靠的NLP系統都是必要的。

這就是為什么Facebook決定創建和開源PyText，PyText是基于其開源PyTorch深度學習框架構建的軟件庫。

Facebook表示，PyText是為滿足NLP建模的特定需求而構建的，它通過提供簡化的工作流程來實現更快的實驗，從而滿足了這一要求。它還提供對各種預建模型體系結構的訪問，以及用于文本處理和詞匯管理的工具。最后，它還可以訪問更廣泛的PyTorch生態系統，該生態系統具有用于NLP系統的自己的工具和模型。

該公司表示，PyText使得既可以嘗試NLP系統，又可以將其部署到生產環境中，以完成諸如文檔分類，多任務建模，語義解析和序列標記之類的任務。

“在Facebook，我們已經使用此框架在短短幾天內(而不是數周或數月)將NLP模型從構思轉變為全面實施，并部署了依賴多任務學習的復雜模型，” Facebook的工程團隊寫道。

Constellation Research Inc.的分析師Holger Mueller表示，很高興看到與此類框架的更多競爭，因為自然語言處理對于下一代軟件應用至關重要。

Mueller說：“新UI的聲音只有在使用NLP模型時才有機會，而跨框架的競爭對于促進功能的進步以及為CxOs提供如何為下一代應用程序構建AI模型提供選擇至關重要。” “與所有新產品一樣，謹慎和驗證是生命的頭幾個月的關鍵建議，但是開源框架將使人們對代碼有更早的了解，并且視情況而定，有助于建立起對代碼的信心。框架。”

Facebook已經在內部使用PyText來改進其某些產品的NLP功能，包括Messenger中的M建議功能和其新的Portal視頻通話設備。

該團隊寫道：“借助Portal，Messenger和許多其他用例，我們需要實時運行模型以提供快速響應。” “我們還需要能夠大規模有效運行的NLP系統。PyText使Facebook工程師更容易在數十億說多種不同語言的人所使用的系統中部署高級實時NLP。”