Text2Layer: Schichtweise Bildgenerierung mit latentem Diffusionsmodell
Text2Layer: Layered Image Generation using Latent Diffusion Model
July 19, 2023
Autoren: Xinyang Zhang, Wentian Zhao, Xin Lu, Jeff Chien
cs.AI
Zusammenfassung
Layer-Compositing ist einer der beliebtesten Bildbearbeitungs-Workflows sowohl bei Amateuren als auch bei Profis. Angeregt durch den Erfolg von Diffusionsmodellen untersuchen wir Layer-Compositing aus der Perspektive der geschichteten Bildgenerierung. Anstatt ein einzelnes Bild zu generieren, schlagen wir vor, Hintergrund, Vordergrund, Layermaske und das zusammengesetzte Bild gleichzeitig zu erzeugen. Um geschichtete Bildgenerierung zu erreichen, trainieren wir ein Autoencoder-Modell, das in der Lage ist, geschichtete Bilder zu rekonstruieren, und trainieren Diffusionsmodelle auf der latenten Repräsentation. Ein Vorteil des vorgeschlagenen Ansatzes besteht darin, neben der Erzeugung hochwertiger Bilder auch bessere Compositing-Workflows zu ermöglichen. Ein weiterer Vorteil ist die Erzeugung qualitativ hochwertigerer Layermasken im Vergleich zu Masken, die durch einen separaten Schritt der Bildsegmentierung erzeugt werden. Experimentelle Ergebnisse zeigen, dass die vorgeschlagene Methode in der Lage ist, hochwertige geschichtete Bilder zu generieren und einen Benchmark für zukünftige Arbeiten schafft.
English
Layer compositing is one of the most popular image editing workflows among
both amateurs and professionals. Motivated by the success of diffusion models,
we explore layer compositing from a layered image generation perspective.
Instead of generating an image, we propose to generate background, foreground,
layer mask, and the composed image simultaneously. To achieve layered image
generation, we train an autoencoder that is able to reconstruct layered images
and train diffusion models on the latent representation. One benefit of the
proposed problem is to enable better compositing workflows in addition to the
high-quality image output. Another benefit is producing higher-quality layer
masks compared to masks produced by a separate step of image segmentation.
Experimental results show that the proposed method is able to generate
high-quality layered images and initiates a benchmark for future work.