Apple的HomePod如何使用AI和6個麥克風來聽取用戶的環境噪音

Apple的HomePod并沒有因其集成數字助理Siri的功能而受到太多贊譽，但它確實有一個不可否認的令人印象深刻的功能：能夠準確地聽到來自房間的用戶命令，盡管嘈雜的音樂，對話或電視干擾音頻。正如該公司的機器學習期刊今天解釋的那樣，HomePod正在利用AI來持續監控六個麥克風陣列，使用從深度學習模型中獲得的知識處理差分輸入。

識別用戶命令而不是環境噪聲的最大挑戰之一是克服HomePod本身：Apple的揚聲器可以以非常高的音量執行，其麥克風緊鄰噪聲源。因此，該公司解釋說，沒有辦法從麥克風中完全刪除HomePod自己的音頻 - 只是其中的一部分。

相反，Apple使用實際的回聲錄音來訓練HomePod專用揚聲器和振動回聲的深度神經網絡，創建一個獨特的能夠抵消HomePod自身聲音的殘余回聲抑制系統。它還應用特定于房間特征的混響消除模型，由揚聲器連續測量。

另一個有趣的技巧是使用波束成形來確定說話用戶所在的位置，將麥克風聚焦在該人身上，并應用聲音掩蔽來濾除其他來源的噪音。Apple構建了一個系統，該系統僅根據麥克風的當前和過去信號對本地語音和噪聲統計進行判斷，在嘗試消除干擾時關注語音。然后，它使用從擴散到定向，語音到噪聲的各種常見噪聲訓練神經網絡，使得濾波可以應用于大量干擾源。

HomePod的另一個令人印象深刻的功能是確定多個說話人員中哪一個是命令的正確目標，控制波束形成麥克風并隔離噪聲。一個技巧是使用所需的“Hey Siri”觸發短語來確定命令的來源和位置，但Apple還開發了將競爭對手分成單個音頻流的技術，然后使用深度學習來猜測哪個講話者正在發出命令，僅發送命令該流專注于該講話者進行處理。

機器學習期刊的入門很好地突出了AI輔助語音處理技術的必要性，但不足以保證遠場數字助理的良好體驗。雖然上述所有技術確實可以產生快速，可靠和準確的Siri觸發，但HomePod實際上對請求做出充分響應的能力有限，這是評論中經常出現投訴的目標。如果有任何好消息，那就是問題似乎出現在Siri的基于云的大腦而不是HomePod的硬件或本地運行的服務中，因此服務器端補丁可以顯著改善設備的功能，而無需用戶購買新硬件。