Costruisci una scena: Controllo interattivo del layout 3D per la generazione di immagini basata sulla diffusione

Build-A-Scene: Interactive 3D Layout Control for Diffusion-Based Image Generation

August 27, 2024

Autori: Abdelrahman Eldesokey, Peter Wonka

cs.AI

Abstract

Proponiamo un approccio basato sulla diffusione per la generazione Testo-Immagine (T2I) con controllo interattivo del layout 3D. Il controllo del layout è stato ampiamente studiato per alleviare i difetti dei modelli di diffusione T2I nella comprensione della disposizione degli oggetti e delle relazioni dalle descrizioni testuali. Tuttavia, gli approcci esistenti per il controllo del layout sono limitati ai layout 2D, richiedono che l'utente fornisca un layout statico in anticipo e non riescono a preservare le immagini generate durante i cambiamenti del layout. Ciò rende tali approcci inadatti per applicazioni che richiedono il controllo tridimensionale degli oggetti e raffinamenti iterativi, ad esempio il design d'interni e la generazione di scene complesse. A tal fine, sfruttiamo i recenti progressi nei modelli T2I condizionati dalla profondità e proponiamo un nuovo approccio per il controllo interattivo del layout 3D. Sostituiamo i tradizionali rettangoli 2D utilizzati nel controllo del layout con rettangoli 3D. Inoltre, rivoluzioniamo il compito T2I come un processo di generazione a più fasi, in cui ad ogni fase l'utente può inserire, modificare e spostare un oggetto in 3D preservando gli oggetti delle fasi precedenti. Raggiungiamo questo obiettivo attraverso il nostro modulo di Auto-Attenzione Dinamica (DSA) proposto e la strategia coerente di traduzione degli oggetti 3D. Gli esperimenti mostrano che il nostro approccio può generare scene complesse basate su layout 3D, aumentando il tasso di successo nella generazione degli oggetti rispetto ai metodi T2I condizionati dalla profondità standard del 2x. Inoltre, supera altri metodi nel preservare gli oggetti durante i cambiamenti del layout. Pagina del Progetto: https://abdo-eldesokey.github.io/build-a-scene/

English

We propose a diffusion-based approach for Text-to-Image (T2I) generation with interactive 3D layout control. Layout control has been widely studied to alleviate the shortcomings of T2I diffusion models in understanding objects' placement and relationships from text descriptions. Nevertheless, existing approaches for layout control are limited to 2D layouts, require the user to provide a static layout beforehand, and fail to preserve generated images under layout changes. This makes these approaches unsuitable for applications that require 3D object-wise control and iterative refinements, e.g., interior design and complex scene generation. To this end, we leverage the recent advancements in depth-conditioned T2I models and propose a novel approach for interactive 3D layout control. We replace the traditional 2D boxes used in layout control with 3D boxes. Furthermore, we revamp the T2I task as a multi-stage generation process, where at each stage, the user can insert, change, and move an object in 3D while preserving objects from earlier stages. We achieve this through our proposed Dynamic Self-Attention (DSA) module and the consistent 3D object translation strategy. Experiments show that our approach can generate complicated scenes based on 3D layouts, boosting the object generation success rate over the standard depth-conditioned T2I methods by 2x. Moreover, it outperforms other methods in comparison in preserving objects under layout changes. Project Page: https://abdo-eldesokey.github.io/build-a-scene/