Build-A-Scene：拡散ベース画像生成のためのインタラクティブ3Dレイアウト制御

Build-A-Scene: Interactive 3D Layout Control for Diffusion-Based Image Generation

August 27, 2024

著者: Abdelrahman Eldesokey, Peter Wonka

cs.AI

要旨

我々は、インタラクティブな3Dレイアウト制御を備えたテキストから画像（T2I）生成のための拡散ベースのアプローチを提案しています。レイアウト制御は、T2I拡散モデルがオブジェクトの配置や関係をテキスト記述から理解する際の欠点を軽減するために広く研究されてきました。しかしながら、既存のレイアウト制御手法は2Dレイアウトに限定され、ユーザーに静的レイアウトを事前に提供する必要があり、レイアウトの変更下で生成された画像を保持できないという課題があります。これにより、3Dオブジェクト単位の制御や反復的な改良が必要なアプリケーション（例：インテリアデザインや複雑なシーン生成）には適していないと言えます。このため、私たちは最近の深度条件付きT2Iモデルの進歩を活用し、インタラクティブな3Dレイアウト制御の革新的なアプローチを提案します。レイアウト制御において従来の2Dボックスを3Dボックスに置き換えます。さらに、T2Iタスクを各段階でユーザーが3D空間でオブジェクトを挿入、変更、移動できる多段階生成プロセスとして再構築します。これは、提案するDynamic Self-Attention（DSA）モジュールと一貫した3Dオブジェクト移動戦略によって実現します。実験結果は、当社のアプローチが3Dレイアウトに基づいた複雑なシーンを生成し、標準の深度条件付きT2I手法よりもオブジェクト生成成功率を2倍に向上させることを示しています。さらに、レイアウトの変更下でオブジェクトを保持する点で他の手法を凌駕しています。プロジェクトページ：https://abdo-eldesokey.github.io/build-a-scene/

English

We propose a diffusion-based approach for Text-to-Image (T2I) generation with interactive 3D layout control. Layout control has been widely studied to alleviate the shortcomings of T2I diffusion models in understanding objects' placement and relationships from text descriptions. Nevertheless, existing approaches for layout control are limited to 2D layouts, require the user to provide a static layout beforehand, and fail to preserve generated images under layout changes. This makes these approaches unsuitable for applications that require 3D object-wise control and iterative refinements, e.g., interior design and complex scene generation. To this end, we leverage the recent advancements in depth-conditioned T2I models and propose a novel approach for interactive 3D layout control. We replace the traditional 2D boxes used in layout control with 3D boxes. Furthermore, we revamp the T2I task as a multi-stage generation process, where at each stage, the user can insert, change, and move an object in 3D while preserving objects from earlier stages. We achieve this through our proposed Dynamic Self-Attention (DSA) module and the consistent 3D object translation strategy. Experiments show that our approach can generate complicated scenes based on 3D layouts, boosting the object generation success rate over the standard depth-conditioned T2I methods by 2x. Moreover, it outperforms other methods in comparison in preserving objects under layout changes. Project Page: https://abdo-eldesokey.github.io/build-a-scene/