使用智能手機或電腦攝像頭的新系統可以幫助未來的個性化遠程醫療預約

遠程醫療已成為醫生在 期間盡可能減少面對面接觸的同時提供醫療保健的重要方式。但是，通過電話或 Zoom 預約，醫生很難從患者身上實時獲取重要的生命體征，例如脈搏或呼吸頻率。華盛頓大學領導的一個團隊開發了一種方法，該方法使用一個人的智能手機或計算機上的攝像頭，從他們面部的實時視頻中獲取他們的脈搏和呼吸信號。研究人員 在 12 月的神經信息處理系統會議上展示了這個最先進的系統。

現在，該團隊正在提出一種更好的系統來測量這些生理信號。該系統不太可能被不同的相機、光照條件或面部特征(例如膚色)絆倒。研究人員將 在 ACM 健康、干擾和學習會議上展示這些發現。

“機器學習非常擅長對圖像進行分類。如果你給它一系列貓的照片，然后告訴它在其他圖像中找到貓，它就可以做到。但是為了讓機器學習有助于遠程健康傳感，我們需要一個系統來識別視頻中的感興趣區域，該視頻擁有最強的生理信息來源——例如脈搏——然后隨著時間的推移進行測量，”負責人說作者 Xin Liu，華盛頓大學 Paul G. Allen 計算機科學與工程學院的博士生。

“每個人都是不同的，”劉說。“所以這個系統需要能夠快速適應每個人獨特的生理特征，并將其與其他變化區分開來，比如他們的樣子和他們所處的環境。”

該團隊的系統可以保護隱私——它在設備上而不是在云端運行——并使用機器學習來捕捉光線從人臉反射的細微變化，這與血流變化有關。然后它將這些變化轉換??為脈搏和呼吸頻率。

該系統的第一個版本使用包含人臉視頻和“地面實況”信息的數據集進行訓練：每個人的脈搏和呼吸頻率由現場標準儀器測量。然后系統使用來自視頻的空間和時間信息來計算這兩個生命體征。它在主題移動和說話的視頻上優于類似的機器學習系統。

但是，盡管該系統在某些數據集上運行良好，但它仍然與包含不同人物、背景和光照的其他數據集相抗衡。該團隊表示，這是一個常見的問題，稱為“過度擬合”。

研究人員通過讓系統為每個人生成個性化的機器學習模型來改進系統。具體來說，它有助于在視頻幀中尋找重要區域，這些區域可能包含與不同背景下面部血流變化相關的生理特征，例如不同的膚色、光照條件和環境。從那里，它可以專注于該區域并測量脈搏和呼吸率。

該團隊表示，雖然這個新系統在提供更具挑戰性的數據集時優于其前身，尤其是對于膚色較深的人，但仍有更多工作要做。

“我們承認，當受試者的皮膚類型較深時，仍然存在表現較差的趨勢，”劉說。“這部分是因為光線在較深的皮膚上反射的方式不同，導致相機接收到的信號較弱。我們的團隊正在積極開發新方法來解決這一限制。”

研究人員還在與醫生進行各種合作，以了解該系統在臨床中的表現。

“任何遠程感知脈搏或呼吸頻率的能力都為遠程患者護理和遠程醫療提供了新的機會。這可能包括自我護理、后續護理或分類，特別是當某人無法方便地前往診所時，”資深作者、艾倫學院和電氣與計算機工程系教授Shwetak Patel說 。“很高興看到學術界正在研究新的算法方法，以通過人們在家中擁有的設備來解決這個問題。”