DreamSpace: Je kamerruimte dromen met tekstgestuurde panoramische textuurpropagatie
DreamSpace: Dreaming Your Room Space with Text-Driven Panoramic Texture Propagation
October 19, 2023
Auteurs: Bangbang Yang, Wenqi Dong, Lin Ma, Wenbo Hu, Xiao Liu, Zhaopeng Cui, Yuewen Ma
cs.AI
Samenvatting
Diffusiegebaseerde methoden hebben opvallend succes geboekt bij het genereren van 2D-media. Het bereiken van vergelijkbare prestaties voor het textureren van meshes op scèniveau in 3D-ruimtelijke toepassingen, zoals XR/VR, blijft echter beperkt, voornamelijk vanwege de complexe aard van 3D-geometrie en de noodzaak voor immersieve rendering vanuit vrije gezichtspunten. In dit artikel stellen we een nieuw raamwerk voor voor het textureren van binnenruimtes, dat tekstgestuurde textuurgeneratie biedt met betoverende details en authentieke ruimtelijke samenhang. De belangrijkste inzicht is om eerst een gestileerde 360{\deg} panoramische textuur te bedenken vanuit het centrale gezichtspunt van de scène, en deze vervolgens naar de rest van de ruimte te verspreiden met inpainting- en imitatietechnieken. Om betekenisvolle en uitgelijnde texturen voor de scène te garanderen, ontwikkelen we een nieuwe grof-naar-fijn benadering voor het genereren van panoramische texturen met dubbele textuuralignering, die zowel rekening houdt met de geometrie als de textuuraanwijzingen van de vastgelegde scènes. Om om te gaan met rommelige geometrieën tijdens de textuurverspreiding, ontwerpen we een gescheiden strategie, die textuurinpainting uitvoert in vertrouwelijke regio's en vervolgens een impliciet imitatienetwerk leert om texturen te synthetiseren in verborgen en kleine structurele gebieden. Uitgebreide experimenten en de immersieve VR-toepassing op realistische binnenruimtes demonstreren de hoge kwaliteit van de gegenereerde texturen en de boeiende ervaring op VR-headsets. Projectwebpagina: https://ybbbbt.com/publication/dreamspace
English
Diffusion-based methods have achieved prominent success in generating 2D
media. However, accomplishing similar proficiencies for scene-level mesh
texturing in 3D spatial applications, e.g., XR/VR, remains constrained,
primarily due to the intricate nature of 3D geometry and the necessity for
immersive free-viewpoint rendering. In this paper, we propose a novel indoor
scene texturing framework, which delivers text-driven texture generation with
enchanting details and authentic spatial coherence. The key insight is to first
imagine a stylized 360{\deg} panoramic texture from the central viewpoint of
the scene, and then propagate it to the rest areas with inpainting and
imitating techniques. To ensure meaningful and aligned textures to the scene,
we develop a novel coarse-to-fine panoramic texture generation approach with
dual texture alignment, which both considers the geometry and texture cues of
the captured scenes. To survive from cluttered geometries during texture
propagation, we design a separated strategy, which conducts texture inpainting
in confidential regions and then learns an implicit imitating network to
synthesize textures in occluded and tiny structural areas. Extensive
experiments and the immersive VR application on real-world indoor scenes
demonstrate the high quality of the generated textures and the engaging
experience on VR headsets. Project webpage:
https://ybbbbt.com/publication/dreamspace