新的手機應用程序根據用戶腳部的3D形狀顯示鞋子的合腳程度

Snapfeet是一款新的手機應用程序，可根據用戶腳部的3D形狀顯示鞋子的合腳程度。它還提供了一個簡單的增強現實(AR)可視化鞋子在腳上的樣子。該應用程序技術旨在為在線鞋履零售商提供給他們的客戶，提供不同款式的鞋子的準確貼合，并有機會看到鞋子在購物者腳上的樣子。這應該會導致退貨的鞋類減少。回報方面的成本很高，無論是金錢上還是環境上。由于退貨率高，許多鞋類零售商從在線銷售中獲得的收入很少，所以這個應用程序的目的是改變這一點。

RobertoCipolla教授和他的團隊JamesCharles博士和博士。機器智能組的學生OllieBoyne與GiorgioRaccanelli和Snapfeet的團隊合作創建了該應用程序。

借助增強現實(AR)，Snapfeet應用程序允許客戶通過手機虛擬穿鞋，并在片刻內找到完美合腳的鞋子。

Snapfeet實時創建用戶腳部的準確3D副本。只需從不同的角度拍攝幾張手機照片，就可以在幾秒鐘內制作雙腳的3D模型。

使用用戶的腳型并將其與鞋子的幾何形狀進行比較，Snapfeet能夠為每種類型的鞋子推薦正確的尺碼，向用戶傳達在腳的不同部位可以達到的舒適程度：腳趾，腳背、腳跟和鞋底。

GiorgioRaccanelli說：“你下載Snapfeet應用程序，注冊，在腳周圍拍幾張照片，就會出現一個腳部的3D模型，讓你立即開始購物。應用程序會自動比較腳的三維圖像選擇鞋型的腳，向您展示它的貼合度，或直接建議最適合您腳型的款式。”

Snapfeet的第一批大客戶是HugoBoss和GoldenGoose。

Snapfeet的母公司Trya于2011年通過CambridgeEnterprise授權Cipolla教授團隊的新型攝影測量軟件。

最初的攝影測量技術使用帶有校準圖案的照片。拍攝這些照片后，它們被上傳到服務器，劍橋大學開發的多視角立體算法發現了多個點對應關系，并生成了一個3D模型，該模型解釋了所有不同的視角，并在世界空間中定位了相機。這是2011年最先進的重建精度。

自2019年以來，Cipolla教授的團隊一直在與Snapfeet合作，將原始攝影測量技術發展為一款手機應用程序，該應用程序可以在手機上實時重建3D腳型，無需任何校準圖案，并在AR中正確調整鞋子尺寸和可視化。

最初的攝影測量軟件非常精確到1毫米，但速度慢且難以處理。有準確性，但沒有可用性。它也沒有利用它試圖重建的對象的任何知識。

該團隊研究了如何使其更快、更用戶友好，并產生了在沒有校準模式和服務器處理的手機上完成這一切的想法。他們能夠在現代手機上利用機器學習和強大處理器方面令人興奮的新發展。

該應用程序的視頻正在構建腳部的3D副本，使用機器學習和實時AR提供尺寸建議，以可視化建議的腳部尺寸。學分：劍橋大學

“我們能夠利用機器學習(深度學習)的新發展來識別3D對象以及現代手機上的先進傳感器和強大的處理器，以便在手機上實時運行重建算法。總而言之，我們可以結合參數化足部模型和用于識別曲線和表面的新型深度學習算法使我們能夠在設備上實時運行3D重建算法，”Cipolla教授說。

他們使用了一個參數化的足部模型，該模型是使用原始攝影測量技術從大量足部3D掃描中學習到的。該應用程序構建的3D足部模型可以在任何圖形引擎中呈現，以可視化它的外觀。腳的形狀可以通過機器學習學習到的10個不同參數進行更改和控制。目的是找出這些參數中的哪一個會產生最匹配用戶的3D腳。“主”足部模型被稱為“先驗”，是有關足部外觀的先驗知識的縮寫。應用程序用戶仍然在足部周圍拍攝多張圖像，但應用程序使用機器學習來預測控制足部形狀的更高級別的特征，而不是構建點云(如攝影測量)。好處是應用程序用戶需要拍攝的照片更少，返回的足部模型具有更少的偽影，并且如果在掃描過程中出現錯誤，該過程會更加穩健。由于應用程序的實時深度學習元素，該模型的生成速度也快得多。

該團隊剛剛發布了可以在移動設備上執行所有操作的新版本應用程序。不再需要服務器。

談到應用程序詹姆斯查爾斯說：“我總是很難買到合適尺碼的鞋子。我不喜歡在商店里試穿的過程，網上訂購大量鞋子對環境的影響對我來說是一個大問題。然而，“在這個應用程序之前，真的沒有其他選擇。所以，我非常積極地解決這個問題，并認為我們已經有了很好的解決方案。”

最初，當用戶打開應用程序時，會有一個校準階段，用戶開始使用手機上最新的AR功能跟蹤相機。在iOS手機上是ARKit，在Android手機上是ARCore，它們使用與室內設計應用程序用于映射房間并以圖形形式表示物理空間的相同程序集。

在校準階段，正在跟蹤手機攝像頭。該應用程序基于AR技術來跟蹤攝像頭并計算它移動的距離，它還檢測腳和地板，從而提供一個很好的世界空間概念。該應用程序知道手機的位置，精度在2毫米以內，并且在加載應用程序后的幾秒鐘內完成。

當手機圍繞腳部的某些關鍵興趣點移動時，檢測到有助于確定腳的長度和寬度，然后根據這些測量結果創建3D網格，然后在AR中將模型覆蓋在用戶的腳上，以便他們可以在視覺上驗證是否正確。

這是另一個關鍵步驟，與競爭不同。市場上有一些應用程序也可以通過這種方式驗證模型重建，但它們不允許您主動調整模型。Snapfeet讓您可以實時調整模型，然后立即在手機上獲取您的足部3D模型，無需服務器。

有三種機器學習足部算法在起作用。一是建立參數化足部模型;第二個是機器學習，當你移動手機時，它會從多視圖圖像中恢復模型的參數。最后，應用程序中還有第三種機器學習算法，將3D足部模型與客戶感興趣的所有鞋型或“鞋楦”進行比較，然后返回最適合用戶腳部的鞋碼.這是虛擬試穿。

當制造商制造鞋子時，他們會制造鞋楦，這是鞋子內部的實體模型。他們圍繞鞋楦設計了鞋款設計。鞋楦以及用于制作鞋子的材料決定了人們將腳放入鞋子時的尺寸和舒適度。

該算法將獲取足部模型并將其以數字方式放置在您感興趣的所有鞋子中，并為您提供舒適度評分。然后，您可以使用AR將虛擬鞋渲染到您的腳上。該應用程序還檢測腿/褲子的位置，以便獲得正確的遮擋效果，使用機器學習來捕捉足部的軌跡。

一旦你恢復了你的腳型，該應用程序還會使用AR，這樣用戶就可以在試鞋時獲得你應該得到的感覺。然后，該應用程序的AR元素允許用戶查看鞋子在他們腳上的樣子，以及它們是否適合特定的服裝。

Snapfeet慷慨地資助了一個博士學位。助學金使OllieBoyne能夠擴展從照片中建模腳的研究。該應用程序現已在AppStore上發布，許多鞋履供應商正在使用和測試該應用程序，以幫助減少他們從在線銷售中獲得的回報。下載該應用程序并親自嘗試。