可穿戴設備使用聲納重建面部表情

康奈爾大學的研究人員開發了一種可穿戴式耳機設備——或“耳戴式”——它可以從臉頰反射聲音并將回聲轉換成一個人整個移動面部的化身，利用聲學技術提供更好的隱私。

由信息科學助理教授ChengZhang和信息科學教授FrançoisGuimbretière領導的團隊設計了該系統，命名為EarIO。它將面部動作實時傳輸到智能手機，并與市售的免提無線視頻會議耳機兼容。

張說，使用攝像頭跟蹤面部動作的設備“體積大、重且耗能大，這對可穿戴設備來說是個大問題”。“同樣重要的是，它們捕獲了很多私人信息。”

他說，通過聲學技術進行面部跟蹤可以提供更好的隱私性、可負擔性、舒適性和電池壽命。

該團隊在“EarIO：一種用于持續跟蹤詳細面部動作的低功率聲學傳感耳機”中描述了他們的耳機，該耳機發表在ACM的互動、移動、可穿戴和無處不在的技術上。

EarIO的工作原理就像一艘發出聲納脈沖的船。耳機兩側的揚聲器向面部兩側發送聲學信號，麥克風拾取回聲。當佩戴者說話、微笑或揚起眉毛時，皮膚會移動和伸展，從而改變回聲輪廓。研究人員開發的深度學習算法使用人工智能不斷處理數據并將不斷變化的回聲轉換為完整的面部表情。

“通過人工智能的力量，該算法發現了人眼無法識別的肌肉運動和面部表情之間的復雜聯系，”信息科學領域的博士生、合著者李克說。“我們可以用它來推斷更難捕捉的復雜信息——整個正面。”

Zhang實驗室之前使用帶攝像頭的耳機跟蹤面部運動的努力是根據從耳朵看到的臉頰運動重新創建整個面部。

通過收集聲音而不是大量數據的圖像，耳機可以通過無線藍牙連接與智能手機進行通信，從而保持用戶信息的私密性。使用圖像，設備需要連接到Wi-Fi網絡并將數據來回發送到云，這可能使其容易受到黑客的攻擊。

“人們可能沒有意識到智能可穿戴設備有多么出色——這些信息對你有什么影響，以及公司可以用這些信息做什么，”Guimbretière說。通過面部圖像，人們還可以推斷出情緒和行為。“該項目的目標是確保所有對您的隱私非常有價值的信息始終在您的控制之下并在本地計算。”

使用聲音信號也比記錄圖像消耗更少的能量，而EarIO使用的能量是Zhang實驗室之前開發的另一個基于相機的系統的1/25。目前，這款耳機在無線耳機電池上可持續使用大約三個小時，但未來的研究將集中在延長使用時間上。

研究人員在16名參與者身上測試了該設備，并使用智能手機攝像頭來驗證其面部模擬性能的準確性。初步實驗表明，它可以在用戶坐著和走動時工作，并且風、道路噪音和背景討論不會干擾其聲音信號。

在未來的版本中，研究人員希望提高耳塞消除附近噪音和其他干擾的能力。

“我們使用的聲學傳感方法非常敏感，”信息科學領域的博士生、合著者張瑞東說。“這很好，因為它能夠跟蹤非常微妙的動作，但也很糟糕，因為當環境發生變化時，或者當你的頭部輕微移動時，我們也會捕捉到這一點。”

該技術的一個限制是，在第一次使用之前，EarIO必須收集32分鐘的面部數據來訓練算法。“最終我們希望讓這個設備即插即用，”張說。