MaGRITTe: Realización 3D Manipulativa y Generativa a partir de Imágenes, Vista Superior y Texto

MaGRITTe: Manipulative and Generative 3D Realization from Image, Topview and Text

March 30, 2024

Autores: Takayuki Hara, Tatsuya Harada

cs.AI

Resumen

La generación de escenas 3D a partir de condiciones especificadas por el usuario ofrece una vía prometedora para aliviar la carga de producción en aplicaciones 3D. Estudios previos requerían un esfuerzo significativo para materializar la escena deseada, debido a las limitadas condiciones de control. Proponemos un método para controlar y generar escenas 3D bajo condiciones multimodales utilizando imágenes parciales, información de diseño representada en vista superior y prompts de texto. Combinar estas condiciones para generar una escena 3D presenta las siguientes dificultades significativas: (1) la creación de grandes conjuntos de datos, (2) la consideración de la interacción de condiciones multimodales y (3) la dependencia del dominio de las condiciones de diseño. Descomponemos el proceso de generación de escenas 3D en la generación de imágenes 2D a partir de las condiciones dadas y la generación de escenas 3D a partir de imágenes 2D. La generación de imágenes 2D se logra ajustando un modelo preentrenado de texto a imagen con un pequeño conjunto de datos artificial de imágenes parciales y diseños, y la generación de escenas 3D se logra mediante la estimación de profundidad condicionada por el diseño y campos de radiancia neural (NeRF), evitando así la creación de grandes conjuntos de datos. El uso de una representación común de información espacial mediante imágenes de 360 grados permite considerar las interacciones de condiciones multimodales y reduce la dependencia del dominio en el control del diseño. Los resultados experimentales demostraron cualitativa y cuantitativamente que el método propuesto puede generar escenas 3D en diversos dominios, desde interiores hasta exteriores, según condiciones multimodales.

English

The generation of 3D scenes from user-specified conditions offers a promising avenue for alleviating the production burden in 3D applications. Previous studies required significant effort to realize the desired scene, owing to limited control conditions. We propose a method for controlling and generating 3D scenes under multimodal conditions using partial images, layout information represented in the top view, and text prompts. Combining these conditions to generate a 3D scene involves the following significant difficulties: (1) the creation of large datasets, (2) reflection on the interaction of multimodal conditions, and (3) domain dependence of the layout conditions. We decompose the process of 3D scene generation into 2D image generation from the given conditions and 3D scene generation from 2D images. 2D image generation is achieved by fine-tuning a pretrained text-to-image model with a small artificial dataset of partial images and layouts, and 3D scene generation is achieved by layout-conditioned depth estimation and neural radiance fields (NeRF), thereby avoiding the creation of large datasets. The use of a common representation of spatial information using 360-degree images allows for the consideration of multimodal condition interactions and reduces the domain dependence of the layout control. The experimental results qualitatively and quantitatively demonstrated that the proposed method can generate 3D scenes in diverse domains, from indoor to outdoor, according to multimodal conditions.