DreamSpace: Soñando tu Espacio Habitacional con Propagación de Texturas Panorámicas Guiada por Texto

DreamSpace: Dreaming Your Room Space with Text-Driven Panoramic Texture Propagation

October 19, 2023

Autores: Bangbang Yang, Wenqi Dong, Lin Ma, Wenbo Hu, Xiao Liu, Zhaopeng Cui, Yuewen Ma

cs.AI

Resumen

Los métodos basados en difusión han logrado un éxito destacado en la generación de medios 2D. Sin embargo, alcanzar niveles similares de competencia en la texturización de mallas a nivel de escena para aplicaciones espaciales 3D, como XR/VR, sigue siendo un desafío, principalmente debido a la naturaleza intrincada de la geometría 3D y la necesidad de un renderizado inmersivo desde múltiples puntos de vista. En este artículo, proponemos un novedoso marco de trabajo para la texturización de escenas interiores, que ofrece la generación de texturas basadas en texto con detalles cautivadores y una coherencia espacial auténtica. La idea clave es primero imaginar una textura panorámica estilizada de 360° desde el punto de vista central de la escena, y luego propagarla al resto de las áreas utilizando técnicas de inpaint e imitación. Para garantizar texturas significativas y alineadas con la escena, desarrollamos un enfoque novedoso de generación de texturas panorámicas de grueso a fino con doble alineación de texturas, que considera tanto las pistas geométricas como las texturas de las escenas capturadas. Para superar las geometrías complejas durante la propagación de texturas, diseñamos una estrategia separada, que realiza inpaint de texturas en regiones confiables y luego aprende una red de imitación implícita para sintetizar texturas en áreas ocluidas y de estructuras diminutas. Experimentos extensivos y la aplicación inmersiva en VR en escenas interiores del mundo real demuestran la alta calidad de las texturas generadas y la experiencia envolvente en los cascos de VR. Página del proyecto: https://ybbbbt.com/publication/dreamspace

English

Diffusion-based methods have achieved prominent success in generating 2D media. However, accomplishing similar proficiencies for scene-level mesh texturing in 3D spatial applications, e.g., XR/VR, remains constrained, primarily due to the intricate nature of 3D geometry and the necessity for immersive free-viewpoint rendering. In this paper, we propose a novel indoor scene texturing framework, which delivers text-driven texture generation with enchanting details and authentic spatial coherence. The key insight is to first imagine a stylized 360{\deg} panoramic texture from the central viewpoint of the scene, and then propagate it to the rest areas with inpainting and imitating techniques. To ensure meaningful and aligned textures to the scene, we develop a novel coarse-to-fine panoramic texture generation approach with dual texture alignment, which both considers the geometry and texture cues of the captured scenes. To survive from cluttered geometries during texture propagation, we design a separated strategy, which conducts texture inpainting in confidential regions and then learns an implicit imitating network to synthesize textures in occluded and tiny structural areas. Extensive experiments and the immersive VR application on real-world indoor scenes demonstrate the high quality of the generated textures and the engaging experience on VR headsets. Project webpage: https://ybbbbt.com/publication/dreamspace