使用CLIP潛在的分層文本條件圖像生成

以前，針對文本條件圖像生成問題提出了兩種方法：CLIP等對比模型和擴散模型。最近，OpenAI為這項任務提出了一個新穎的系統：DALL·E2。

這種新方法可以生成更逼真、更準確的圖像，其分辨率是其前身DALL·E的4倍。新穎的系統結合了兩種先前的方法：訓練擴散解碼器以反轉CLIP圖像編碼器。

除了從文本描述中創建原始、逼真的圖像和藝術作品外，DALL·E2還可以對現有圖像進行逼真的編輯，例如添加或刪除元素。它甚至可以使用圖像作為輸入，并根據原始圖像創建不同的變體。除了使人們能夠創造性地表達自己之外，這項研究還幫助人類了解先進的人工智能系統如何看待和理解我們的世界。