用于高分辨率圖像合成的基于樣式的3D感知生成器

生成對抗網絡(GAN)可以合成高質量的圖像;然而，他們缺乏對訓練圖像的3D理解，也缺乏對生成圖像的直接3D相機控制。因此，最近的一篇論文提出了StyleNeRF，這是一種新的3D感知生成模型，用于以交互速率進行高分辨率3D一致圖像合成。它結合了神經輻射場(NeRF)，但僅使用它來生成低分辨率特征圖并防止昂貴的直接彩色圖像渲染。StyleNeRF使用非結構化的真實世界圖像進行訓練，并使用漸進式訓練策略來提高學習真實幾何的穩定性。

對各種具有挑戰性的數據集的評估證實，該模型可以以交互速率合成照片般逼真的圖像，同時實現高度的多視圖一致性。

我們提出了StyleNeRF，這是一種3D感知生成模型，用于具有高多視圖一致性的逼真的高分辨率圖像合成，可以在非結構化2D圖像上進行訓練。現有方法要么無法合成具有精細細節的高分辨率圖像，要么產生明顯的3D不一致偽影。此外，他們中的許多人缺乏對風格屬性和明確的3D相機姿勢的控制。StyleNeRF將神經輻射場(NeRF)集成到基于樣式的生成器中，以解決上述挑戰，即提高渲染效率和3D一致性以生成高分辨率圖像。我們執行體積渲染只是為了生成一個低分辨率的特征圖，并在2D中逐步應用上采樣來解決第一個問題。為了減輕2D上采樣引起的不一致性，我們提出了多種設計，包括更好的上采樣器和新的正則化損失。通過這些設計，StyleNeRF可以以交互速率合成高分辨率圖像，同時保持高質量的3D一致性。StyleNeRF還可以控制相機姿勢和不同級別的樣式，可以推廣到看不見的視圖。它還支持具有挑戰性的任務，包括放大和縮小、樣式混合、反轉和語義編輯。