英偉達推出智能機器人對話人工智能技術

既然幾乎所有可能的移動設備和設備都已經采用或至少嘗試了語音控制，會話人工智能正迅速成為新的前沿。與處理一個查詢并提供一個響應或動作不同，對話人工智能旨在提供一個能夠跨越多個問題、答案和評論的實時交互系統。雖然會話人工智能的基本構件，如用于語言建模的BERT和RoBERTa，與用于一次性語音識別的構件類似，但該概念對訓練、推理和模型大小有額外的性能要求。今天，Nvidia發布了三種開源技術來解決這些問題。

雖然在許多情況下，只需進行一些調優就可以使用預先訓練好的語言模型來處理新任務，但是為了在特定的上下文中獲得最佳性能，重新訓練是必要的。Nvidia已經證明，它現在可以在一個不到一小時的時間內，在一個DGX超級pod上訓練BERT(谷歌的參考語言模型)，該超級pod由1472臺Tesla v100 - sx63 - 32gb gpu、92臺DGX- 2h服務器和每個節點10個Mellanox Infiniband組成。不，我甚至不想試著估算每小時的租金是多少。但由于像這樣的模型通常需要幾天的時間來訓練，甚至在高端GPU集群，這將肯定有助于時間為公司誰能負擔得起的成本。

對于自然對話，行業基準是10ms響應時間。理解查詢并給出建議的回復只是這個過程的一部分，因此需要花費少于10ms的時間。通過使用TensorRT 5.1優化BERT, Nvidia可以在一個Nvidia T4上在2.2ms內進行推論。很酷的是，T4實際上可以用于任何重要的項目。我將它們用于我的文本生成系統的谷歌計算云。在我做這個項目的時候，我租了一臺4-vCPU的T4虛擬服務器，每小時租金剛剛超過1美元。

神經網絡的一個致命弱點是要求所有的模型參數(包括大量的權重)必須同時存儲在內存中。這就限制了可以在GPU上訓練的模型的復雜性，使其限制在RAM的大小上。以我為例，我的臺式機Nvidia GTX 1080只能訓練8GB容量的機型。我可以在我的CPU上訓練更大的模型，它有更多的內存，但是它需要更長的時間。例如，完整的GPT-2語言模型有15億個參數，擴展版本有83億個參數。

不過，Nvidia提出了一種允許多個gpu并行處理語言建模任務的方法。就像今天的其他公告一樣，他們已經開源了代碼來實現它。我很好奇這項技術是專門針對語言模型的，還是可以應用于其他類型的神經網絡的多gpu訓練。

隨著這些技術的發展和代碼在GitHub上的發布，Nvidia宣布他們將與微軟合作，以改善必應的搜索結果，并與Clinc合作開發語音代理，在聊天機器人上開發人工智能，在對話分析上開發RecordSure。