Text2Layer: Слоистая генерация изображений с использованием латентной диффузионной модели
Text2Layer: Layered Image Generation using Latent Diffusion Model
July 19, 2023
Авторы: Xinyang Zhang, Wentian Zhao, Xin Lu, Jeff Chien
cs.AI
Аннотация
Слоевая композиция является одним из самых популярных рабочих процессов редактирования изображений как среди любителей, так и среди профессионалов. Вдохновленные успехом диффузионных моделей, мы исследуем слоевую композицию с точки зрения генерации многослойных изображений. Вместо генерации одного изображения мы предлагаем одновременно генерировать фон, передний план, маску слоя и итоговое композитное изображение. Для достижения генерации многослойных изображений мы обучаем автоэнкодер, способный восстанавливать многослойные изображения, и тренируем диффузионные модели на латентном представлении. Одним из преимуществ предложенного подхода является возможность улучшения рабочих процессов композиции наряду с получением изображений высокого качества. Другим преимуществом является создание масок слоев более высокого качества по сравнению с масками, полученными в результате отдельного этапа сегментации изображений. Экспериментальные результаты показывают, что предложенный метод способен генерировать многослойные изображения высокого качества и задает ориентир для будущих исследований.
English
Layer compositing is one of the most popular image editing workflows among
both amateurs and professionals. Motivated by the success of diffusion models,
we explore layer compositing from a layered image generation perspective.
Instead of generating an image, we propose to generate background, foreground,
layer mask, and the composed image simultaneously. To achieve layered image
generation, we train an autoencoder that is able to reconstruct layered images
and train diffusion models on the latent representation. One benefit of the
proposed problem is to enable better compositing workflows in addition to the
high-quality image output. Another benefit is producing higher-quality layer
masks compared to masks produced by a separate step of image segmentation.
Experimental results show that the proposed method is able to generate
high-quality layered images and initiates a benchmark for future work.