MaGRITTe : Réalisation 3D Manipulable et Générative à partir d'Image, de Vue de Dessus et de Texte

MaGRITTe: Manipulative and Generative 3D Realization from Image, Topview and Text

March 30, 2024

Auteurs: Takayuki Hara, Tatsuya Harada

cs.AI

Résumé

La génération de scènes 3D à partir de conditions spécifiées par l'utilisateur offre une voie prometteuse pour alléger la charge de production dans les applications 3D. Les études précédentes nécessitaient un effort considérable pour réaliser la scène souhaitée, en raison de conditions de contrôle limitées. Nous proposons une méthode pour contrôler et générer des scènes 3D sous des conditions multimodales en utilisant des images partielles, des informations de mise en page représentées en vue de dessus, et des invites textuelles. Combiner ces conditions pour générer une scène 3D implique les difficultés significatives suivantes : (1) la création de grands ensembles de données, (2) la prise en compte de l'interaction des conditions multimodales, et (3) la dépendance au domaine des conditions de mise en page. Nous décomposons le processus de génération de scènes 3D en génération d'images 2D à partir des conditions données et génération de scènes 3D à partir d'images 2D. La génération d'images 2D est réalisée en affinant un modèle pré-entraîné de texte à image avec un petit ensemble de données artificielles d'images partielles et de mises en page, et la génération de scènes 3D est réalisée par estimation de profondeur conditionnée par la mise en page et des champs de radiance neuronaux (NeRF), évitant ainsi la création de grands ensembles de données. L'utilisation d'une représentation commune de l'information spatiale à l'aide d'images à 360 degrés permet de prendre en compte les interactions des conditions multimodales et réduit la dépendance au domaine du contrôle de la mise en page. Les résultats expérimentaux ont démontré qualitativement et quantitativement que la méthode proposée peut générer des scènes 3D dans divers domaines, de l'intérieur à l'extérieur, selon des conditions multimodales.

English

The generation of 3D scenes from user-specified conditions offers a promising avenue for alleviating the production burden in 3D applications. Previous studies required significant effort to realize the desired scene, owing to limited control conditions. We propose a method for controlling and generating 3D scenes under multimodal conditions using partial images, layout information represented in the top view, and text prompts. Combining these conditions to generate a 3D scene involves the following significant difficulties: (1) the creation of large datasets, (2) reflection on the interaction of multimodal conditions, and (3) domain dependence of the layout conditions. We decompose the process of 3D scene generation into 2D image generation from the given conditions and 3D scene generation from 2D images. 2D image generation is achieved by fine-tuning a pretrained text-to-image model with a small artificial dataset of partial images and layouts, and 3D scene generation is achieved by layout-conditioned depth estimation and neural radiance fields (NeRF), thereby avoiding the creation of large datasets. The use of a common representation of spatial information using 360-degree images allows for the consideration of multimodal condition interactions and reduces the domain dependence of the layout control. The experimental results qualitatively and quantitatively demonstrated that the proposed method can generate 3D scenes in diverse domains, from indoor to outdoor, according to multimodal conditions.