Generación de Escenas Compuestas a través de la Generación de Instancias RGBA de Texto a Imagen.

Generating Compositional Scenes via Text-to-image RGBA Instance Generation

November 16, 2024

Autores: Alessandro Fontanella, Petru-Daniel Tudosiu, Yongxin Yang, Shifeng Zhang, Sarah Parisot

cs.AI

Resumen

Los modelos generativos de difusión texto-a-imagen pueden generar imágenes de alta calidad a costa de un tedioso diseño de indicaciones. La controlabilidad puede mejorarse introduciendo condicionantes de diseño, sin embargo, los métodos existentes carecen de capacidad de edición de diseño y control detallado sobre atributos de objetos. El concepto de generación multi-capa tiene un gran potencial para abordar estas limitaciones, sin embargo, generar instancias de imagen de forma concurrente a la composición de escenas limita el control sobre atributos detallados de objetos, posicionamiento relativo en el espacio 3D y habilidades de manipulación de escenas. En este trabajo, proponemos un novedoso paradigma de generación en múltiples etapas diseñado para un control detallado, flexibilidad e interactividad. Para garantizar el control sobre atributos de instancias, ideamos un novedoso paradigma de entrenamiento para adaptar un modelo de difusión para generar componentes de escena aislados como imágenes RGBA con información de transparencia. Para construir imágenes complejas, empleamos estas instancias pre-generadas e introducimos un proceso de generación compuesta multi-capa que ensambla suavemente componentes en escenas realistas. Nuestros experimentos muestran que nuestro modelo de difusión RGBA es capaz de generar instancias diversas y de alta calidad con control preciso sobre atributos de objetos. A través de la composición multi-capa, demostramos que nuestro enfoque permite construir y manipular imágenes a partir de indicaciones altamente complejas con control detallado sobre la apariencia y ubicación de objetos, otorgando un mayor grado de control que los métodos competidores.

English

Text-to-image diffusion generative models can generate high quality images at the cost of tedious prompt engineering. Controllability can be improved by introducing layout conditioning, however existing methods lack layout editing ability and fine-grained control over object attributes. The concept of multi-layer generation holds great potential to address these limitations, however generating image instances concurrently to scene composition limits control over fine-grained object attributes, relative positioning in 3D space and scene manipulation abilities. In this work, we propose a novel multi-stage generation paradigm that is designed for fine-grained control, flexibility and interactivity. To ensure control over instance attributes, we devise a novel training paradigm to adapt a diffusion model to generate isolated scene components as RGBA images with transparency information. To build complex images, we employ these pre-generated instances and introduce a multi-layer composite generation process that smoothly assembles components in realistic scenes. Our experiments show that our RGBA diffusion model is capable of generating diverse and high quality instances with precise control over object attributes. Through multi-layer composition, we demonstrate that our approach allows to build and manipulate images from highly complex prompts with fine-grained control over object appearance and location, granting a higher degree of control than competing methods.