Создание сцены: интерактивное управление 3D-макетом для генерации изображений на основе диффузии

Build-A-Scene: Interactive 3D Layout Control for Diffusion-Based Image Generation

August 27, 2024

Авторы: Abdelrahman Eldesokey, Peter Wonka

cs.AI

Аннотация

Мы предлагаем подход на основе диффузии для генерации текста в изображение (Text-to-Image, T2I) с интерактивным управлением 3D-макетом. Управление макетом широко изучалось для устранения недостатков диффузионных моделей T2I в понимании размещения объектов и их взаимосвязей из текстовых описаний. Тем не менее существующие подходы к управлению макетом ограничиваются 2D макетами, требуют от пользователя предоставления статического макета заранее и не сохраняют сгенерированные изображения при изменении макета. Это делает эти подходы непригодными для приложений, требующих управления объектами в 3D и итеративных усовершенствований, например, дизайна интерьера и создания сложных сцен. Для этого мы используем недавние достижения в моделях T2I, зависящих от глубины, и предлагаем новый подход для интерактивного управления 3D-макетом. Мы заменяем традиционные 2D прямоугольники, используемые в управлении макетом, на 3D прямоугольники. Более того, мы пересматриваем задачу T2I как многоэтапный процесс генерации, где на каждом этапе пользователь может вставлять, изменять и перемещать объект в 3D, сохраняя объекты с предыдущих этапов. Мы достигаем этого через наш модуль Динамического Самовнимания (DSA) и стратегию последовательного перевода объектов в 3D. Эксперименты показывают, что наш подход способен генерировать сложные сцены на основе 3D макетов, увеличивая успешность генерации объектов на 2x по сравнению со стандартными методами T2I, зависящими от глубины. Более того, он превосходит другие методы в сохранении объектов при изменении макета. Страница проекта: https://abdo-eldesokey.github.io/build-a-scene/

English

We propose a diffusion-based approach for Text-to-Image (T2I) generation with interactive 3D layout control. Layout control has been widely studied to alleviate the shortcomings of T2I diffusion models in understanding objects' placement and relationships from text descriptions. Nevertheless, existing approaches for layout control are limited to 2D layouts, require the user to provide a static layout beforehand, and fail to preserve generated images under layout changes. This makes these approaches unsuitable for applications that require 3D object-wise control and iterative refinements, e.g., interior design and complex scene generation. To this end, we leverage the recent advancements in depth-conditioned T2I models and propose a novel approach for interactive 3D layout control. We replace the traditional 2D boxes used in layout control with 3D boxes. Furthermore, we revamp the T2I task as a multi-stage generation process, where at each stage, the user can insert, change, and move an object in 3D while preserving objects from earlier stages. We achieve this through our proposed Dynamic Self-Attention (DSA) module and the consistent 3D object translation strategy. Experiments show that our approach can generate complicated scenes based on 3D layouts, boosting the object generation success rate over the standard depth-conditioned T2I methods by 2x. Moreover, it outperforms other methods in comparison in preserving objects under layout changes. Project Page: https://abdo-eldesokey.github.io/build-a-scene/