可穿戴技術手套可將手語實時轉換為語音

加州大學洛杉磯分校的生物工程師設計了一種類似于手套的設備，該設備可以通過智能手機應用程序將美國手語實時轉換為英語語音。他們的研究發表在《自然電子》雜志上。

加州大學洛杉磯分校薩穆里分校工程學院生物工程學助理教授陳軍說：“我們的希望是，這為使用手語直接與非簽字人交流而無需其他人為其翻譯的人們提供一種簡便的方法。”以及該研究的首席研究員。“此外，我們希望它可以幫助更多的人自己學習手語。”

該系統包括一副帶有細長傳感器的手套，該傳感器可伸展五個手指中每個手指的長度。這些由導電紗線制成的傳感器拾取代表單個字母，數字，單詞和短語的手部動作和手指位置。

然后，該設備將手指的運動轉換為電信號，然后將其發送到戴在手腕上的一美元硬幣大小的電路板上。開發板將這些信號無線傳輸到智能手機，該智能手機以每秒大約一個單詞的速度將其轉換為語音。

研究人員還在眉毛之間和嘴巴的一側之間的測試者臉上增加了粘合傳感器，以捕捉作為美國手語一部分的面部表情。

可穿戴手套翻譯手勢語的簡短視頻。

Chen說，以前提供美國手語翻譯功能的可穿戴系統受到笨重設備設計的限制，或者穿著不舒服。

UCLA團隊開發的設備是由輕便，便宜，但經久耐用的可拉伸聚合物制成的。電子傳感器也非常靈活且便宜。

系統的數字渲染，有助于將手語轉換為語音。信用：Chen Chen Lab / UCLA

在測試設備時，研究人員與四個聾啞人一起使用美國手語進行了合作。佩戴者將每個手勢重復15次。定制的機器學習算法將這些手勢轉換為它們所代表的字母，數字和單詞。系統識別出660個符號，包括字母的每個字母以及數字0到9。

UCLA已為該技術申請了專利。陳說，基于這種技術的商業模型將需要增加詞匯量和更快的翻譯時間。