Build-A-Scene: Interaktive 3D-Layout-Steuerung für die Generierung von Bildern auf Basis von Diffusion

Build-A-Scene: Interactive 3D Layout Control for Diffusion-Based Image Generation

August 27, 2024

Autoren: Abdelrahman Eldesokey, Peter Wonka

cs.AI

Zusammenfassung

Wir schlagen einen auf Diffusion basierenden Ansatz für die Generierung von Text-zu-Bild (T2I) mit interaktiver 3D-Layoutsteuerung vor. Die Layoutsteuerung wurde weitreichend untersucht, um die Mängel von T2I-Diffusionsmodellen im Verständnis der Platzierung von Objekten und Beziehungen aus Textbeschreibungen zu lindern. Dennoch sind bestehende Ansätze für die Layoutsteuerung auf 2D-Layouts beschränkt, erfordern, dass der Benutzer zuvor ein statisches Layout bereitstellt, und versagen dabei, generierte Bilder unter Layoutänderungen beizubehalten. Dies macht diese Ansätze ungeeignet für Anwendungen, die eine 3D-Objektsteuerung und iterative Verfeinerungen erfordern, z. B. Innenarchitektur und komplexe Szenengenerierung. Zu diesem Zweck nutzen wir die jüngsten Fortschritte in T2I-Modellen, die von der Tiefe abhängen, und schlagen einen neuartigen Ansatz für die interaktive 3D-Layoutsteuerung vor. Wir ersetzen die traditionellen 2D-Boxen, die bei der Layoutsteuerung verwendet werden, durch 3D-Boxen. Darüber hinaus gestalten wir die T2I-Aufgabe als einen mehrstufigen Generierungsprozess, bei dem der Benutzer in jedem Stadium ein Objekt in 3D einfügen, ändern und verschieben kann, während Objekte aus früheren Stadien beibehalten werden. Dies erreichen wir durch unser vorgeschlagenes Dynamisches Selbst-Aufmerksamkeits (DSA)-Modul und die konsistente 3D-Objektübersetzungsstrategie. Experimente zeigen, dass unser Ansatz komplexe Szenen basierend auf 3D-Layouts generieren kann, wodurch die Erfolgsrate der Objektgenerierung im Vergleich zu den Standard-T2I-Methoden, die von der Tiefe abhängen, um das 2-fache erhöht wird. Darüber hinaus übertrifft er andere Methoden im Bezug auf die Beibehaltung von Objekten unter Layoutänderungen. Projektseite: https://abdo-eldesokey.github.io/build-a-scene/

English

We propose a diffusion-based approach for Text-to-Image (T2I) generation with interactive 3D layout control. Layout control has been widely studied to alleviate the shortcomings of T2I diffusion models in understanding objects' placement and relationships from text descriptions. Nevertheless, existing approaches for layout control are limited to 2D layouts, require the user to provide a static layout beforehand, and fail to preserve generated images under layout changes. This makes these approaches unsuitable for applications that require 3D object-wise control and iterative refinements, e.g., interior design and complex scene generation. To this end, we leverage the recent advancements in depth-conditioned T2I models and propose a novel approach for interactive 3D layout control. We replace the traditional 2D boxes used in layout control with 3D boxes. Furthermore, we revamp the T2I task as a multi-stage generation process, where at each stage, the user can insert, change, and move an object in 3D while preserving objects from earlier stages. We achieve this through our proposed Dynamic Self-Attention (DSA) module and the consistent 3D object translation strategy. Experiments show that our approach can generate complicated scenes based on 3D layouts, boosting the object generation success rate over the standard depth-conditioned T2I methods by 2x. Moreover, it outperforms other methods in comparison in preserving objects under layout changes. Project Page: https://abdo-eldesokey.github.io/build-a-scene/