DreamSpace: Sognare il proprio spazio abitativo con propagazione di texture panoramiche guidata da testo
DreamSpace: Dreaming Your Room Space with Text-Driven Panoramic Texture Propagation
October 19, 2023
Autori: Bangbang Yang, Wenqi Dong, Lin Ma, Wenbo Hu, Xiao Liu, Zhaopeng Cui, Yuewen Ma
cs.AI
Abstract
I metodi basati sulla diffusione hanno ottenuto un successo significativo nella generazione di contenuti 2D. Tuttavia, raggiungere competenze simili per la texturizzazione di mesh a livello di scena in applicazioni spaziali 3D, come XR/VR, rimane limitato, principalmente a causa della natura complessa della geometria 3D e della necessità di rendering immersivo da punti di vista liberi. In questo articolo, proponiamo un nuovo framework per la texturizzazione di scene interne, che offre la generazione di texture guidata da testo con dettagli affascinanti e coerenza spaziale autentica. L'idea chiave è quella di immaginare prima una texture panoramica stilizzata a 360° dal punto di vista centrale della scena, e poi propagarla alle restanti aree utilizzando tecniche di inpainting e imitazione. Per garantire texture significative e allineate alla scena, sviluppiamo un nuovo approccio di generazione di texture panoramica da grossolana a fine con doppio allineamento delle texture, che considera sia gli indizi geometrici che quelli testurali delle scene catturate. Per superare le geometrie disordinate durante la propagazione delle texture, progettiamo una strategia separata, che esegue l'inpainting delle texture nelle regioni affidabili e poi apprende una rete di imitazione implicita per sintetizzare le texture nelle aree occluse e di piccole strutture. Esperimenti estesi e l'applicazione VR immersiva su scene interne del mondo reale dimostrano l'alta qualità delle texture generate e l'esperienza coinvolgente sui visori VR. Pagina del progetto: https://ybbbbt.com/publication/dreamspace
English
Diffusion-based methods have achieved prominent success in generating 2D
media. However, accomplishing similar proficiencies for scene-level mesh
texturing in 3D spatial applications, e.g., XR/VR, remains constrained,
primarily due to the intricate nature of 3D geometry and the necessity for
immersive free-viewpoint rendering. In this paper, we propose a novel indoor
scene texturing framework, which delivers text-driven texture generation with
enchanting details and authentic spatial coherence. The key insight is to first
imagine a stylized 360{\deg} panoramic texture from the central viewpoint of
the scene, and then propagate it to the rest areas with inpainting and
imitating techniques. To ensure meaningful and aligned textures to the scene,
we develop a novel coarse-to-fine panoramic texture generation approach with
dual texture alignment, which both considers the geometry and texture cues of
the captured scenes. To survive from cluttered geometries during texture
propagation, we design a separated strategy, which conducts texture inpainting
in confidential regions and then learns an implicit imitating network to
synthesize textures in occluded and tiny structural areas. Extensive
experiments and the immersive VR application on real-world indoor scenes
demonstrate the high quality of the generated textures and the engaging
experience on VR headsets. Project webpage:
https://ybbbbt.com/publication/dreamspace