Генерация композиционных сцен с помощью текстово-изображенной генерации экземпляров RGBA.

Generating Compositional Scenes via Text-to-image RGBA Instance Generation

November 16, 2024

Авторы: Alessandro Fontanella, Petru-Daniel Tudosiu, Yongxin Yang, Shifeng Zhang, Sarah Parisot

cs.AI

Аннотация

Модели генерации изображений на основе диффузии могут создавать изображения высокого качества за счет тщательной инженерии подсказок. Управляемость можно улучшить, внедрив условие компоновки, однако существующие методы лишены возможности редактирования компоновки и тонкой настройки атрибутов объектов. Концепция многослойной генерации имеет большой потенциал для преодоления этих ограничений, однако одновременная генерация изображений и композиция сцены ограничивает контроль над тонкой настройкой атрибутов объектов, их относительным расположением в 3D-пространстве и возможностями манипулирования сценой. В данной работе мы предлагаем новую парадигму многоэтапной генерации, разработанную для тонкого контроля, гибкости и интерактивности. Для обеспечения контроля над атрибутами экземпляров мы разрабатываем новую парадигму обучения для адаптации модели диффузии к генерации изолированных компонентов сцены в виде изображений RGBA с информацией о прозрачности. Для создания сложных изображений мы используем эти предварительно сгенерированные экземпляры и внедряем процесс многослойной композитной генерации, который плавно собирает компоненты в реалистичных сценах. Наши эксперименты показывают, что наша модель диффузии RGBA способна генерировать разнообразные и высококачественные экземпляры с точным контролем над атрибутами объектов. Через многослойную композицию мы демонстрируем, что наш подход позволяет создавать и манипулировать изображениями из очень сложных подсказок с тонким контролем над внешним видом и расположением объектов, обеспечивая более высокий уровень контроля по сравнению с конкурирующими методами.

English

Text-to-image diffusion generative models can generate high quality images at the cost of tedious prompt engineering. Controllability can be improved by introducing layout conditioning, however existing methods lack layout editing ability and fine-grained control over object attributes. The concept of multi-layer generation holds great potential to address these limitations, however generating image instances concurrently to scene composition limits control over fine-grained object attributes, relative positioning in 3D space and scene manipulation abilities. In this work, we propose a novel multi-stage generation paradigm that is designed for fine-grained control, flexibility and interactivity. To ensure control over instance attributes, we devise a novel training paradigm to adapt a diffusion model to generate isolated scene components as RGBA images with transparency information. To build complex images, we employ these pre-generated instances and introduce a multi-layer composite generation process that smoothly assembles components in realistic scenes. Our experiments show that our RGBA diffusion model is capable of generating diverse and high quality instances with precise control over object attributes. Through multi-layer composition, we demonstrate that our approach allows to build and manipulate images from highly complex prompts with fine-grained control over object appearance and location, granting a higher degree of control than competing methods.