DreamSpace: Raumgestaltung durch textgesteuerte panoramische Texturverbreitung im Traum

DreamSpace: Dreaming Your Room Space with Text-Driven Panoramic Texture Propagation

October 19, 2023

Autoren: Bangbang Yang, Wenqi Dong, Lin Ma, Wenbo Hu, Xiao Liu, Zhaopeng Cui, Yuewen Ma

cs.AI

Zusammenfassung

Diffusionsbasierte Methoden haben bemerkenswerte Erfolge bei der Generierung von 2D-Medien erzielt. Die Erreichung ähnlicher Fähigkeiten für die Texturierung von Szenen-Meshes in 3D-Raumanwendungen, z.B. XR/VR, bleibt jedoch eingeschränkt, hauptsächlich aufgrund der komplexen Natur der 3D-Geometrie und der Notwendigkeit für immersives Rendering aus freien Blickwinkeln. In diesem Artikel schlagen wir ein neuartiges Framework für die Texturierung von Innenraumszenen vor, das eine textgesteuerte Texturgenerierung mit beeindruckenden Details und authentischer räumlicher Kohärenz ermöglicht. Der zentrale Ansatz besteht darin, zunächst eine stilisierte 360°-Panoramatextur aus dem zentralen Blickwinkel der Szene zu imaginieren und diese dann mit Inpainting- und Imitationstechniken auf die restlichen Bereiche zu übertragen. Um sinnvolle und an die Szene angepasste Texturen zu gewährleisten, entwickeln wir einen neuartigen grob-zu-fein-Ansatz zur Panoramatexturgenerierung mit dualer Texturausrichtung, der sowohl die Geometrie als auch die Texturhinweise der erfassten Szenen berücksichtigt. Um die Herausforderungen durch unübersichtliche Geometrien während der Texturpropagation zu bewältigen, entwerfen wir eine getrennte Strategie, die Texturinpainting in vertrauenswürdigen Regionen durchführt und dann ein implizites Imitationsnetzwerk lernt, um Texturen in verdeckten und kleinstrukturierten Bereichen zu synthetisieren. Umfangreiche Experimente und die immersive VR-Anwendung auf realen Innenraumszenen demonstrieren die hohe Qualität der generierten Texturen und das fesselnde Erlebnis auf VR-Headsets. Projektwebseite: https://ybbbbt.com/publication/dreamspace

English

Diffusion-based methods have achieved prominent success in generating 2D media. However, accomplishing similar proficiencies for scene-level mesh texturing in 3D spatial applications, e.g., XR/VR, remains constrained, primarily due to the intricate nature of 3D geometry and the necessity for immersive free-viewpoint rendering. In this paper, we propose a novel indoor scene texturing framework, which delivers text-driven texture generation with enchanting details and authentic spatial coherence. The key insight is to first imagine a stylized 360{\deg} panoramic texture from the central viewpoint of the scene, and then propagate it to the rest areas with inpainting and imitating techniques. To ensure meaningful and aligned textures to the scene, we develop a novel coarse-to-fine panoramic texture generation approach with dual texture alignment, which both considers the geometry and texture cues of the captured scenes. To survive from cluttered geometries during texture propagation, we design a separated strategy, which conducts texture inpainting in confidential regions and then learns an implicit imitating network to synthesize textures in occluded and tiny structural areas. Extensive experiments and the immersive VR application on real-world indoor scenes demonstrate the high quality of the generated textures and the engaging experience on VR headsets. Project webpage: https://ybbbbt.com/publication/dreamspace