Text2Layer : Génération d'images en couches à l'aide d'un modèle de diffusion latente

Text2Layer: Layered Image Generation using Latent Diffusion Model

July 19, 2023

Auteurs: Xinyang Zhang, Wentian Zhao, Xin Lu, Jeff Chien

cs.AI

Résumé

La composition par couches est l'un des workflows de retouche d'image les plus populaires, tant chez les amateurs que chez les professionnels. Motivés par le succès des modèles de diffusion, nous explorons la composition par couches sous l'angle de la génération d'images stratifiées. Plutôt que de générer une image unique, nous proposons de générer simultanément l'arrière-plan, l'avant-plan, le masque de couche et l'image composée. Pour réaliser la génération d'images stratifiées, nous entraînons un autoencodeur capable de reconstruire des images en couches, puis nous entraînons des modèles de diffusion sur la représentation latente. Un avantage de cette approche est de permettre des workflows de composition améliorés, en plus de produire des images de haute qualité. Un autre avantage est la production de masques de couche de meilleure qualité par rapport à ceux obtenus par une étape séparée de segmentation d'image. Les résultats expérimentaux montrent que la méthode proposée est capable de générer des images stratifiées de haute qualité et établit un benchmark pour les travaux futurs.

English

Layer compositing is one of the most popular image editing workflows among both amateurs and professionals. Motivated by the success of diffusion models, we explore layer compositing from a layered image generation perspective. Instead of generating an image, we propose to generate background, foreground, layer mask, and the composed image simultaneously. To achieve layered image generation, we train an autoencoder that is able to reconstruct layered images and train diffusion models on the latent representation. One benefit of the proposed problem is to enable better compositing workflows in addition to the high-quality image output. Another benefit is producing higher-quality layer masks compared to masks produced by a separate step of image segmentation. Experimental results show that the proposed method is able to generate high-quality layered images and initiates a benchmark for future work.