Gerando Cenas Composicionais via Geração de Instâncias RGBA de Texto-para-Imagem

Generating Compositional Scenes via Text-to-image RGBA Instance Generation

November 16, 2024

Autores: Alessandro Fontanella, Petru-Daniel Tudosiu, Yongxin Yang, Shifeng Zhang, Sarah Parisot

cs.AI

Resumo

Modelos generativos de difusão texto-imagem podem gerar imagens de alta qualidade, porém exigem um engenharia de prompts tediosa. A controlabilidade pode ser melhorada ao introduzir condicionamento de layout, no entanto, os métodos existentes carecem de capacidade de edição de layout e controle refinado sobre atributos de objetos. O conceito de geração de múltiplas camadas tem um grande potencial para abordar essas limitações, no entanto, gerar instâncias de imagem simultaneamente à composição da cena limita o controle sobre atributos de objetos refinados, posicionamento relativo no espaço 3D e habilidades de manipulação de cena. Neste trabalho, propomos um novo paradigma de geração em múltiplos estágios que é projetado para controle refinado, flexibilidade e interatividade. Para garantir controle sobre os atributos das instâncias, desenvolvemos um novo paradigma de treinamento para adaptar um modelo de difusão para gerar componentes de cena isolados como imagens RGBA com informações de transparência. Para construir imagens complexas, utilizamos essas instâncias pré-geradas e introduzimos um processo de geração composta de múltiplas camadas que monta suavemente os componentes em cenas realistas. Nossos experimentos mostram que nosso modelo de difusão RGBA é capaz de gerar instâncias diversas e de alta qualidade com controle preciso sobre os atributos dos objetos. Através da composição de múltiplas camadas, demonstramos que nossa abordagem permite construir e manipular imagens a partir de prompts altamente complexos com controle refinado sobre a aparência e localização dos objetos, concedendo um maior grau de controle do que os métodos concorrentes.

English

Text-to-image diffusion generative models can generate high quality images at the cost of tedious prompt engineering. Controllability can be improved by introducing layout conditioning, however existing methods lack layout editing ability and fine-grained control over object attributes. The concept of multi-layer generation holds great potential to address these limitations, however generating image instances concurrently to scene composition limits control over fine-grained object attributes, relative positioning in 3D space and scene manipulation abilities. In this work, we propose a novel multi-stage generation paradigm that is designed for fine-grained control, flexibility and interactivity. To ensure control over instance attributes, we devise a novel training paradigm to adapt a diffusion model to generate isolated scene components as RGBA images with transparency information. To build complex images, we employ these pre-generated instances and introduce a multi-layer composite generation process that smoothly assembles components in realistic scenes. Our experiments show that our RGBA diffusion model is capable of generating diverse and high quality instances with precise control over object attributes. Through multi-layer composition, we demonstrate that our approach allows to build and manipulate images from highly complex prompts with fine-grained control over object appearance and location, granting a higher degree of control than competing methods.