機器學習產生令人眼花results亂的結果

您可能已經看過《衛報》最近的一篇由“機器人”撰寫的文章。這是一個示例：“我知道我的大腦不是'感覺大腦'。但是它能夠做出合理的，合理的決定。我通過閱讀互聯網自學了所有知識，現在我可以寫這篇專欄文章了。

閱讀整個內容，您可能會驚訝于它的連貫性和風格一致性。用于生成它的軟件稱為“生成模型”，在過去的一兩年中，它們已經走了很長一段路。

但是，文章是如何創建的呢?軟件真的“寫了整篇文章”嗎?

機器如何學習寫作

文本是使用由美國人工智能研究公司OpenAI發布的最新語言神經網絡模型GPT-3生成的。(GPT代表生成式預訓練變壓器。)

OpenAI的先前模型GPT-2去年引起了轟動。它發表了一篇關于發現獨角獸群的相當合理的文章，研究人員起初因為擔心會濫用基礎代碼而拒絕發布底層代碼。

但是讓我們退后一步，看看文本生成軟件實際上是做什么的。

機器學習方法分為三大類：啟發式模型，統計模型和受生物學啟發的模型(例如神經網絡和進化算法)。

啟發式方法基于“經驗法則”。例如，我們學習有關如何使動詞共軛的規則：我跑步，你跑步，他跑步等等。由于這些方法不靈活，因此如今已很少使用。

用數字寫

多年來，統計方法一直是與語言有關的任務的最新技術。在最基本的層次上，它們涉及計數單詞并猜測接下來要發生的事情。

作為一個簡單的練習，您可以通過根據單詞通常出現的頻率隨機選擇單詞來生成文本。您的單詞中大約有7%是“ the”，這是英語中最常見的單詞。但是，如果您在不考慮上下文的??情況下進行了此操作，那么您可能會胡說八道，例如“ the is night night”。

更復雜的方法是使用“二字組”和“三字組”，它們是連續單詞對，而“三字組”是三個單詞序列。這允許一些上下文，并讓當前文本告知下一個。例如，如果您有單詞“ out of”，則下一個猜中的單詞可能是“ time”。

當我們編寫短信或電子郵件時，這種自動完成和自動建議功能會發生這種情況。根據我們剛剛鍵入的內容，我們傾向于鍵入的內容以及經過預訓練的背景模型，系統可以預測下一步的工作。

盡管基于二元和三元組的統計模型在簡單的情況下可以產生良好的結果，但最新最好的模型卻又發展到了另一個層次：深度學習神經網絡。

模仿大腦

神經網絡的工作有點像由多層虛擬神經元組成的小腦。

神經元接收一些輸入，并且基于該輸入可能會或可能不會觸發(產生輸出)。輸出通過網絡級聯進入下一層的神經元。

美國神經科學家沃倫·麥卡洛克(Warren McCulloch)和沃爾特·皮茨(Walter Pitts)于1943年提出了第一個人工神經元，但在過去五年中，它們僅對諸如生成文本之類的復雜問題有用。

要將神經網絡用于文本，可以將單詞放入一種編號索引中。您可以使用數字代表一個單詞，例如23,342可能代表“時間”。

神經網絡進行了一系列計算，從輸入層的數字序列到內部互連的“隱藏層”，再到輸出層。輸出結果可能是數字，代表索引中每個單詞作為文本的下一個單詞的幾率。

在我們的“超出”示例中，代表“時間”的數字23432可能比代表“做”的數字具有更好的賠率。

GPT-3有什么特別之處?