亞馬遜研究人員的方法可以更快地為AI分類器添加類

分類器是現代機器學習的主要內容。簡而言之，他們按類型對輸入數據(照片，視頻，對象和錄音)進行分類，并且非常有效地完成。但是，當分類器需要新類(即新類別)時會出現問題。甚至添加一個新類傳統上是艱巨的，涉及大量的數據收集和模型再培訓。

但亞馬遜Alexa研究部門的科學家表示，不一定非要這樣。

在一篇新的博客文章和隨附的論文(“ 使用源模型和目標數據進行序列標記的轉移學習”)中，亞馬遜的Alexa部門的研究人員描述了一種僅使用新類的訓練數據來更新分類器的方法。他們說，這表明可以將AI系統及其學習參數(用于控制模型某些屬性的值)轉移到一個訓練有素的新系統來識別另一個類。

Alexa Search團隊的首席科學家亞歷山德羅•莫斯基蒂(Alessandro Moschitti)寫道：“將現有網絡適應新數據類的問題一般都很有意思，但這對Alexa來說尤為重要。” “Alexa的科學家和工程師為Alexa的核心功能投入了大量的精力，但通過Alexa技能套件，我們還讓第三方開發人員能夠建立自己的Alexa技能--70,000并計算。我們在新論文中研究的適應類型 - 或“轉移學習”將使第三方開發人員可以直接使用我們的內部系統而無需訪問內部培訓數據。

在他們的研究過程中，該團隊著手為神經網絡添加一個類 - 在大腦中的神經元模擬的數學函數層 - 訓練以識別在線新聞文章中的人和組織。他們保留了原始分類器，但是通過一個單獨的網絡傳遞了它的輸出 - 一個“神經適配器” - 它們的輸出被輸入到第二個并行分類器中，該分類器訓練有關新類的數據。最后，他們將適配器和新分類器一起訓練。

結果：一個新的位置分類網絡，通過人員和組織分類網絡及其參數進行培訓。

該團隊測試了兩種網絡架構，其中一種具有條件隨機場(CRF) - 一種常用于模式識別并用于結構化預測的統計建模方法。此外，他們嘗試了兩種不同的轉移學習方法：一種依賴于上述神經適配器，另一種是擴展訓練的分類器的功能輸出層的大小以及緊接其下方的功能層。

最后，他們發現具有CRF的AI系統在原始數據上保持高精度 - 91.08%% - 并且在新數據上實現了90.73%%的準確性。

“我們的實驗......表明......當目標數據包含新類別時，源模型中的學到的知識可以有效地轉移，”Moschitti及其同事寫道，“并且......我們的神經適配器進一步改善了這種轉移。