DreamSpace: Sonhando o Espaço do Seu Quarto com Propagação de Textura Panorâmica Orientada por Texto
DreamSpace: Dreaming Your Room Space with Text-Driven Panoramic Texture Propagation
October 19, 2023
Autores: Bangbang Yang, Wenqi Dong, Lin Ma, Wenbo Hu, Xiao Liu, Zhaopeng Cui, Yuewen Ma
cs.AI
Resumo
Métodos baseados em difusão têm alcançado sucesso notável na geração de mídias 2D. No entanto, atingir proficiências semelhantes para texturização de malhas em nível de cena em aplicações espaciais 3D, como XR/VR, ainda é limitado, principalmente devido à natureza complexa da geometria 3D e à necessidade de renderização imersiva de pontos de vista livres. Neste artigo, propomos uma nova estrutura de texturização de cenas internas, que oferece geração de texturas orientada por texto com detalhes encantadores e coerência espacial autêntica. A ideia principal é primeiro imaginar uma textura panorâmica estilizada de 360° a partir do ponto de vista central da cena e, em seguida, propagá-la para as demais áreas com técnicas de preenchimento e imitação. Para garantir texturas significativas e alinhadas à cena, desenvolvemos uma nova abordagem de geração de texturas panorâmicas de grosseiro a refinado com alinhamento duplo de texturas, que considera tanto a geometria quanto as pistas de textura das cenas capturadas. Para lidar com geometrias desordenadas durante a propagação de texturas, projetamos uma estratégia separada, que realiza o preenchimento de texturas em regiões confidenciais e, em seguida, aprende uma rede de imitação implícita para sintetizar texturas em áreas ocluídas e de estruturas pequenas. Experimentos extensivos e a aplicação imersiva de VR em cenas internas do mundo real demonstram a alta qualidade das texturas geradas e a experiência envolvente em headsets de VR. Página do projeto: https://ybbbbt.com/publication/dreamspace
English
Diffusion-based methods have achieved prominent success in generating 2D
media. However, accomplishing similar proficiencies for scene-level mesh
texturing in 3D spatial applications, e.g., XR/VR, remains constrained,
primarily due to the intricate nature of 3D geometry and the necessity for
immersive free-viewpoint rendering. In this paper, we propose a novel indoor
scene texturing framework, which delivers text-driven texture generation with
enchanting details and authentic spatial coherence. The key insight is to first
imagine a stylized 360{\deg} panoramic texture from the central viewpoint of
the scene, and then propagate it to the rest areas with inpainting and
imitating techniques. To ensure meaningful and aligned textures to the scene,
we develop a novel coarse-to-fine panoramic texture generation approach with
dual texture alignment, which both considers the geometry and texture cues of
the captured scenes. To survive from cluttered geometries during texture
propagation, we design a separated strategy, which conducts texture inpainting
in confidential regions and then learns an implicit imitating network to
synthesize textures in occluded and tiny structural areas. Extensive
experiments and the immersive VR application on real-world indoor scenes
demonstrate the high quality of the generated textures and the engaging
experience on VR headsets. Project webpage:
https://ybbbbt.com/publication/dreamspace