Text2Layer: Generazione Stratificata di Immagini utilizzando Modelli di Diffusione Latente

Text2Layer: Layered Image Generation using Latent Diffusion Model

July 19, 2023

Autori: Xinyang Zhang, Wentian Zhao, Xin Lu, Jeff Chien

cs.AI

Abstract

La composizione a livelli è uno dei flussi di lavoro più popolari nell'editing di immagini, sia tra i dilettanti che tra i professionisti. Ispirati dal successo dei modelli di diffusione, esploriamo la composizione a livelli da una prospettiva di generazione di immagini stratificate. Invece di generare un'immagine, proponiamo di generare simultaneamente lo sfondo, il primo piano, la maschera del livello e l'immagine composta. Per raggiungere la generazione di immagini stratificate, addestriamo un autoencoder in grado di ricostruire immagini stratificate e addestriamo modelli di diffusione sulla rappresentazione latente. Un vantaggio del problema proposto è quello di abilitare flussi di lavoro di composizione migliori, oltre a produrre immagini di alta qualità. Un altro vantaggio è la produzione di maschere di livello di qualità superiore rispetto a quelle prodotte da un passaggio separato di segmentazione delle immagini. I risultati sperimentali dimostrano che il metodo proposto è in grado di generare immagini stratificate di alta qualità e stabilisce un punto di riferimento per lavori futuri.

English

Layer compositing is one of the most popular image editing workflows among both amateurs and professionals. Motivated by the success of diffusion models, we explore layer compositing from a layered image generation perspective. Instead of generating an image, we propose to generate background, foreground, layer mask, and the composed image simultaneously. To achieve layered image generation, we train an autoencoder that is able to reconstruct layered images and train diffusion models on the latent representation. One benefit of the proposed problem is to enable better compositing workflows in addition to the high-quality image output. Another benefit is producing higher-quality layer masks compared to masks produced by a separate step of image segmentation. Experimental results show that the proposed method is able to generate high-quality layered images and initiates a benchmark for future work.