DreamSpace : Rêver l'espace de votre pièce avec une propagation de texture panoramique pilotée par texte

DreamSpace: Dreaming Your Room Space with Text-Driven Panoramic Texture Propagation

October 19, 2023

Auteurs: Bangbang Yang, Wenqi Dong, Lin Ma, Wenbo Hu, Xiao Liu, Zhaopeng Cui, Yuewen Ma

cs.AI

Résumé

Les méthodes basées sur la diffusion ont obtenu un succès remarquable dans la génération de médias 2D. Cependant, atteindre des performances similaires pour la texturation de maillages au niveau de la scène dans des applications spatiales 3D, comme la réalité étendue (XR) ou la réalité virtuelle (VR), reste limité, principalement en raison de la complexité de la géométrie 3D et de la nécessité d'un rendu immersif en vue libre. Dans cet article, nous proposons un nouveau cadre de texturation pour les scènes intérieures, qui permet une génération de textures pilotée par le texte avec des détails enchanteurs et une cohérence spatiale authentique. L'idée clé est d'abord d'imaginer une texture panoramique stylisée à 360{\deg} depuis le point de vue central de la scène, puis de la propager aux autres zones à l'aide de techniques d'inpainting et d'imitation. Pour garantir des textures significatives et alignées avec la scène, nous développons une nouvelle approche de génération de textures panoramiques en deux étapes, allant du grossier au fin, avec un double alignement de textures, qui prend en compte à la fois la géométrie et les indices de texture des scènes capturées. Pour surmonter les géométries encombrées lors de la propagation des textures, nous concevons une stratégie séparée, qui effectue l'inpainting de textures dans les régions confiantes, puis apprend un réseau d'imitation implicite pour synthétiser les textures dans les zones occluses et les structures minuscules. Des expériences approfondies et l'application immersive en VR sur des scènes intérieures réelles démontrent la haute qualité des textures générées et l'expérience engageante sur les casques VR. Page du projet : https://ybbbbt.com/publication/dreamspace

English

Diffusion-based methods have achieved prominent success in generating 2D media. However, accomplishing similar proficiencies for scene-level mesh texturing in 3D spatial applications, e.g., XR/VR, remains constrained, primarily due to the intricate nature of 3D geometry and the necessity for immersive free-viewpoint rendering. In this paper, we propose a novel indoor scene texturing framework, which delivers text-driven texture generation with enchanting details and authentic spatial coherence. The key insight is to first imagine a stylized 360{\deg} panoramic texture from the central viewpoint of the scene, and then propagate it to the rest areas with inpainting and imitating techniques. To ensure meaningful and aligned textures to the scene, we develop a novel coarse-to-fine panoramic texture generation approach with dual texture alignment, which both considers the geometry and texture cues of the captured scenes. To survive from cluttered geometries during texture propagation, we design a separated strategy, which conducts texture inpainting in confidential regions and then learns an implicit imitating network to synthesize textures in occluded and tiny structural areas. Extensive experiments and the immersive VR application on real-world indoor scenes demonstrate the high quality of the generated textures and the engaging experience on VR headsets. Project webpage: https://ybbbbt.com/publication/dreamspace