LeRop基于深度學習的模型可自動捕獲人像

拍攝高質量的照片可能是一項艱巨的任務，因為通常需要找到理想的位置，角度和照明條件。盡管到目前為止藝術照片主要是由人類攝影師拍攝的，但近年來，一些研究人員已開始研究使用機器人自動拍攝照片的可能性。

為此，普渡大學和Adobe Research的研究人員團隊最近開發了一個新框架，該框架使機器人可以自動捕獲人的照片，特別是肖像。該框架在arXiv上預先發表的一篇論文中提出，可以使機器人跟隨人類用戶到達理想地點，然后對其進行拍照。

LeRop是研究人員開發的框架，專門用于拍攝室內人像肖像。首先，該框架將機器人引導到合適的位置或所需的位置進行拍照，然后使用照片評估模型提出最佳視圖，并使用深度強化學習(DRL)模型來調整機器人的位置和方向，以確保機器人能夠最佳照明條件。

研究人員在論文中寫道：“激活構圖后，機器人將嘗試調整其位置以形成最能匹配給定模板圖像的視圖，并最終拍攝照片。” “模板圖像可以通過框架使用現成的照片評估模型動態地預測，或者由用戶從預定義的集合中手動選擇。”

LeRop是一個交互式框架，用戶可以對其進行編程，使其跟隨一個目標到達她希望捕獲照片的位置。一旦用戶到達該地點，機器人就會開始搜索要捕獲的最佳視圖。LeRop的DRL組件最終使它能夠根據其與模板圖像的匹配方式來調整視點。

研究人員決定為該機器人配備360度攝像頭和高品質的主攝像頭，因為這可以使機器人始終保持周圍全景，而無需不斷旋轉或切換到不同的視點。有趣的是，該框架具有模塊化結構，這意味著可以根據用戶的需要來替換或調整其所有模型。

該團隊在三個室內場景的各種試用測試中對LeRop進行了評估，并將其集成到名為Turtlebot的簡單機器人中。在這三個設置中，機器人分別為人類用戶拍攝了20張照片，其中10張帶有預定義的模板，另外10張使用動態生成的模板。

機器人對預定義模板的平均調整數量為11.20，對于動態生成的模板，平均調整數量為12.76。此外，利用研究人員的框架，該機器人可以使用預定義的模板平均花費22.11秒，而使用動態生成的模板平均花費22.40秒。

LeRop框架可能是朝著創建高效的機器人攝影系統邁出的第一步，該系統可以快速，自動地拍攝高質量的人像。但是，研究人員開發的系統仍然存在許多局限性，可能會阻止其大規模采用。例如，到目前為止，它的板載計算能力有限，因此只能在功能強大的遠程計算機上工作。

此外，到目前為止，研究人員僅將其集成到Turtlebot中，Turtlebot是一個自由度極低的簡單機器人。在接下來的工作中，他們希望在具有更多自由度的更復雜的機器人上測試系統。

研究人員寫道：“我們的系統目前僅支持單人肖像。” “將需要對新政策進行重新培訓，以在集體照方面獲得更好的支持。在將來的工作中，我們還希望測試不同的照片評估美學模型，并將工作擴展到室外場景。”