智能手機視頻可產生高度逼真的3D面部重建

通常，它需要昂貴的設備和專業知識才能對某人的臉進行逼真的3D重建，并且看上去并不令人毛骨悚然。現在，卡內基梅隆大學的研究人員已經使用普通智能手機上錄制的視頻完成了這項壯舉。

使用智能手機拍攝臉部正面和側面的連續視頻會生成密集的數據云。一個兩步過程由CMU的機器人研究所開發利用這些數據，從一些幫助深學習算法，構建面的數字重建。該小組的實驗表明，他們的方法可以達到亞毫米級的精度，優于其他基于相機的過程。

數字人臉可用于構建用于游戲或虛擬或增強現實的化身，也可用于動畫，生物特征識別甚至醫療程序。面部的精確3D渲染在構建定制的手術口罩或呼吸器時也可能會有用。

機器人研究所副研究員西蒙·盧西(Simon Lucey)表示：“構建3D面部重建技術一直是計算機視覺和圖形學中的一個開放問題，因為人們對面部特征的外觀非常敏感。” 重建中即使有微小的異常也會使最終結果看起來不切實際。

激光掃描儀，結構光和多相機工作室設置可以產生高度精確的面部掃描，但是這些專用傳感器對于大多數應用而言價格昂貴。但是，CMU的新開發方法僅需要智能手機。

該方法由Lucey與碩士生Shubham Agrawal和Anuj Pahuja開發，于3月初在科羅拉多州斯諾馬斯舉行的IEEE冬季計算機視覺應用會議(WACV)上提出。首先拍攝15-20秒的視頻。在這種情況下，研究人員在慢動作設置中使用了iPhoneX。

通常，需要昂貴的設備和專業知識才能對某人的臉部進行精確的3D重建。現在，卡內基梅隆大學的研究人員已經使用普通智能手機上錄制的視頻完成了這項壯舉。由CMU機器人學院開發的兩步過程在深度學習算法的幫助下，從視頻中收集數據，以構建人臉的數字重建。圖片來源：卡內基梅隆大學

Lucey說：“高幀速慢動作是我們方法的關鍵之一，因為它會生成密集的點云。”

然后，研究人員采用了一種常用的技術，稱為視覺同時定位和制圖(SLAM)。Visual SLAM對曲面上的點進行三角剖分以計算其形狀，同時使用該信息來確定相機的位置。這將創建人臉的初始幾何形狀，但是缺少的數據會在模型中留下空白。