Construire-une-scène : Contrôle interactif de la disposition 3D pour la génération d'images basée sur la diffusion

Build-A-Scene: Interactive 3D Layout Control for Diffusion-Based Image Generation

August 27, 2024

Auteurs: Abdelrahman Eldesokey, Peter Wonka

cs.AI

Résumé

Nous proposons une approche basée sur la diffusion pour la génération Texte-vers-Image (T2I) avec un contrôle interactif de la mise en page 3D. Le contrôle de la mise en page a été largement étudié pour pallier les lacunes des modèles de diffusion T2I dans la compréhension du placement et des relations des objets à partir de descriptions textuelles. Néanmoins, les approches existantes pour le contrôle de la mise en page se limitent aux mises en page 2D, nécessitent que l'utilisateur fournisse une mise en page statique au préalable, et échouent à préserver les images générées lors de changements de mise en page. Cela rend ces approches inadaptées aux applications nécessitant un contrôle tridimensionnel des objets et des affinements itératifs, par exemple, la conception intérieure et la génération de scènes complexes. À cette fin, nous exploitons les récents progrès des modèles T2I conditionnés par la profondeur et proposons une nouvelle approche pour le contrôle interactif de la mise en page 3D. Nous remplaçons les boîtes 2D traditionnelles utilisées dans le contrôle de la mise en page par des boîtes 3D. De plus, nous repensons la tâche T2I comme un processus de génération multi-étapes, où à chaque étape, l'utilisateur peut insérer, modifier et déplacer un objet en 3D tout en préservant les objets des étapes précédentes. Nous parvenons à cela grâce à notre module d'Auto-Attention Dynamique (DSA) proposé et à la stratégie de traduction d'objets 3D cohérente. Les expériences montrent que notre approche peut générer des scènes complexes basées sur des mises en page 3D, augmentant le taux de succès de génération d'objets par rapport aux méthodes T2I conditionnées par la profondeur standard de 2x. De plus, elle surpasse d'autres méthodes en préservant les objets lors de changements de mise en page. Page du projet : https://abdo-eldesokey.github.io/build-a-scene/

English

We propose a diffusion-based approach for Text-to-Image (T2I) generation with interactive 3D layout control. Layout control has been widely studied to alleviate the shortcomings of T2I diffusion models in understanding objects' placement and relationships from text descriptions. Nevertheless, existing approaches for layout control are limited to 2D layouts, require the user to provide a static layout beforehand, and fail to preserve generated images under layout changes. This makes these approaches unsuitable for applications that require 3D object-wise control and iterative refinements, e.g., interior design and complex scene generation. To this end, we leverage the recent advancements in depth-conditioned T2I models and propose a novel approach for interactive 3D layout control. We replace the traditional 2D boxes used in layout control with 3D boxes. Furthermore, we revamp the T2I task as a multi-stage generation process, where at each stage, the user can insert, change, and move an object in 3D while preserving objects from earlier stages. We achieve this through our proposed Dynamic Self-Attention (DSA) module and the consistent 3D object translation strategy. Experiments show that our approach can generate complicated scenes based on 3D layouts, boosting the object generation success rate over the standard depth-conditioned T2I methods by 2x. Moreover, it outperforms other methods in comparison in preserving objects under layout changes. Project Page: https://abdo-eldesokey.github.io/build-a-scene/