Construa-uma-Cena: Controle Interativo de Layout 3D para Geração de Imagens Baseada em Difusão

Build-A-Scene: Interactive 3D Layout Control for Diffusion-Based Image Generation

August 27, 2024

Autores: Abdelrahman Eldesokey, Peter Wonka

cs.AI

Resumo

Propomos uma abordagem baseada em difusão para a geração de Texto-para-Imagem (T2I) com controle interativo de layout 3D. O controle de layout tem sido amplamente estudado para mitigar as deficiências dos modelos de difusão T2I na compreensão do posicionamento e relacionamentos de objetos a partir de descrições de texto. No entanto, as abordagens existentes para controle de layout são limitadas a layouts 2D, exigem que o usuário forneça um layout estático antecipadamente e falham em preservar imagens geradas sob alterações de layout. Isso torna essas abordagens inadequadas para aplicações que exigem controle tridimensional de objetos e refinamentos iterativos, por exemplo, design de interiores e geração de cenas complexas. Para isso, aproveitamos os avanços recentes em modelos T2I condicionados pela profundidade e propomos uma abordagem inovadora para controle de layout 3D interativo. Substituímos as tradicionais caixas 2D usadas no controle de layout por caixas 3D. Além disso, reformulamos a tarefa T2I como um processo de geração em múltiplos estágios, onde em cada estágio, o usuário pode inserir, alterar e mover um objeto em 3D enquanto preserva objetos de estágios anteriores. Conseguimos isso por meio do nosso módulo de Autoatenção Dinâmica (DSA) proposto e da estratégia consistente de tradução de objetos 3D. Experimentos mostram que nossa abordagem pode gerar cenas complicadas com base em layouts 3D, aumentando a taxa de sucesso na geração de objetos em relação aos métodos padrão T2I condicionados pela profundidade em 2 vezes. Além disso, supera outros métodos em comparação na preservação de objetos sob alterações de layout. Página do Projeto: https://abdo-eldesokey.github.io/build-a-scene/

English

We propose a diffusion-based approach for Text-to-Image (T2I) generation with interactive 3D layout control. Layout control has been widely studied to alleviate the shortcomings of T2I diffusion models in understanding objects' placement and relationships from text descriptions. Nevertheless, existing approaches for layout control are limited to 2D layouts, require the user to provide a static layout beforehand, and fail to preserve generated images under layout changes. This makes these approaches unsuitable for applications that require 3D object-wise control and iterative refinements, e.g., interior design and complex scene generation. To this end, we leverage the recent advancements in depth-conditioned T2I models and propose a novel approach for interactive 3D layout control. We replace the traditional 2D boxes used in layout control with 3D boxes. Furthermore, we revamp the T2I task as a multi-stage generation process, where at each stage, the user can insert, change, and move an object in 3D while preserving objects from earlier stages. We achieve this through our proposed Dynamic Self-Attention (DSA) module and the consistent 3D object translation strategy. Experiments show that our approach can generate complicated scenes based on 3D layouts, boosting the object generation success rate over the standard depth-conditioned T2I methods by 2x. Moreover, it outperforms other methods in comparison in preserving objects under layout changes. Project Page: https://abdo-eldesokey.github.io/build-a-scene/