MaGRITTe: Manipulatieve en Generatieve 3D-realisatie vanuit Afbeelding, Bovenaanzicht en Tekst

MaGRITTe: Manipulative and Generative 3D Realization from Image, Topview and Text

March 30, 2024

Auteurs: Takayuki Hara, Tatsuya Harada

cs.AI

Samenvatting

Het genereren van 3D-scènes op basis van door de gebruiker gespecificeerde voorwaarden biedt een veelbelovende mogelijkheid om de productielast in 3D-toepassingen te verlichten. Eerdere studies vereisten aanzienlijke inspanning om de gewenste scène te realiseren, vanwege beperkte controlecondities. Wij stellen een methode voor om 3D-scènes te beheersen en te genereren onder multimodale voorwaarden met behulp van gedeeltelijke afbeeldingen, lay-outinformatie weergegeven in bovenaanzicht, en tekstprompts. Het combineren van deze voorwaarden om een 3D-scène te genereren brengt de volgende belangrijke moeilijkheden met zich mee: (1) het creëren van grote datasets, (2) het weerspiegelen van de interactie van multimodale voorwaarden, en (3) domeinafhankelijkheid van de lay-outcondities. We ontleden het proces van 3D-scènegeneratie in 2D-afbeeldingsgeneratie vanuit de gegeven voorwaarden en 3D-scènegeneratie vanuit 2D-afbeeldingen. 2D-afbeeldingsgeneratie wordt bereikt door een vooraf getraind tekst-naar-afbeelding model te fine-tunen met een kleine kunstmatige dataset van gedeeltelijke afbeeldingen en lay-outs, en 3D-scènegeneratie wordt bereikt door lay-out-geconditioneerde diepteschatting en neurale stralingsvelden (NeRF), waardoor het creëren van grote datasets wordt vermeden. Het gebruik van een gemeenschappelijke representatie van ruimtelijke informatie met behulp van 360-graden afbeeldingen maakt het mogelijk om de interacties van multimodale voorwaarden te overwegen en vermindert de domeinafhankelijkheid van de lay-outcontrole. De experimentele resultaten hebben kwalitatief en kwantitatief aangetoond dat de voorgestelde methode 3D-scènes kan genereren in diverse domeinen, van binnenruimtes tot buitenruimtes, volgens multimodale voorwaarden.

English

The generation of 3D scenes from user-specified conditions offers a promising avenue for alleviating the production burden in 3D applications. Previous studies required significant effort to realize the desired scene, owing to limited control conditions. We propose a method for controlling and generating 3D scenes under multimodal conditions using partial images, layout information represented in the top view, and text prompts. Combining these conditions to generate a 3D scene involves the following significant difficulties: (1) the creation of large datasets, (2) reflection on the interaction of multimodal conditions, and (3) domain dependence of the layout conditions. We decompose the process of 3D scene generation into 2D image generation from the given conditions and 3D scene generation from 2D images. 2D image generation is achieved by fine-tuning a pretrained text-to-image model with a small artificial dataset of partial images and layouts, and 3D scene generation is achieved by layout-conditioned depth estimation and neural radiance fields (NeRF), thereby avoiding the creation of large datasets. The use of a common representation of spatial information using 360-degree images allows for the consideration of multimodal condition interactions and reduces the domain dependence of the layout control. The experimental results qualitatively and quantitatively demonstrated that the proposed method can generate 3D scenes in diverse domains, from indoor to outdoor, according to multimodal conditions.