Text2Layer: Gelaagde Afbeeldingen Genereren met een Latent Diffusie Model
Text2Layer: Layered Image Generation using Latent Diffusion Model
July 19, 2023
Auteurs: Xinyang Zhang, Wentian Zhao, Xin Lu, Jeff Chien
cs.AI
Samenvatting
Laagsgewijze compositie is een van de meest populaire workflows voor beeldbewerking, zowel onder amateurs als professionals. Geïnspireerd door het succes van diffusiemodellen, onderzoeken we laagsgewijze compositie vanuit het perspectief van gelaagde beeldgeneratie. In plaats van een afbeelding te genereren, stellen we voor om de achtergrond, voorgrond, laagmasker en het samengestelde beeld gelijktijdig te genereren. Om gelaagde beeldgeneratie te realiseren, trainen we een autoencoder die in staat is gelaagde afbeeldingen te reconstrueren en trainen we diffusiemodellen op de latente representatie. Een voordeel van de voorgestelde aanpak is dat het betere compositieworkflows mogelijk maakt, naast de hoogwaardige beeldoutput. Een ander voordeel is het produceren van hogere kwaliteit laagmaskers in vergelijking met maskers die worden gegenereerd door een aparte stap van beeldsegmentatie. Experimentele resultaten tonen aan dat de voorgestelde methode in staat is hoogwaardige gelaagde afbeeldingen te genereren en een benchmark initieert voor toekomstig werk.
English
Layer compositing is one of the most popular image editing workflows among
both amateurs and professionals. Motivated by the success of diffusion models,
we explore layer compositing from a layered image generation perspective.
Instead of generating an image, we propose to generate background, foreground,
layer mask, and the composed image simultaneously. To achieve layered image
generation, we train an autoencoder that is able to reconstruct layered images
and train diffusion models on the latent representation. One benefit of the
proposed problem is to enable better compositing workflows in addition to the
high-quality image output. Another benefit is producing higher-quality layer
masks compared to masks produced by a separate step of image segmentation.
Experimental results show that the proposed method is able to generate
high-quality layered images and initiates a benchmark for future work.