SpaceBlender: Het creëren van context-rijke samenwerkingsruimtes door middel van generatieve 3D-scene blending.

SpaceBlender: Creating Context-Rich Collaborative Spaces Through Generative 3D Scene Blending

September 20, 2024

Auteurs: Nels Numan, Shwetha Rajaram, Balasaravanan Thoravi Kumaravel, Nicolai Marquardt, Andrew D. Wilson

cs.AI

Samenvatting

Er is een toenemende interesse in het gebruik van generatieve AI om 3D-ruimtes te creëren voor toepassingen in Virtuele Realiteit (VR). Echter, de modellen van vandaag produceren kunstmatige omgevingen die tekortschieten in het ondersteunen van samenwerkende taken die baat hebben bij het opnemen van de fysieke context van de gebruiker. Om omgevingen te genereren die VR-telepresence ondersteunen, introduceren we SpaceBlender, een nieuw proces dat generatieve AI-technieken gebruikt om de fysieke omgevingen van gebruikers te vermengen tot eenduidige virtuele ruimtes. Dit proces transformeert door gebruikers geleverde 2D-afbeeldingen naar contextrijke 3D-omgevingen via een iteratief proces bestaande uit dieptestimatie, mesh-alignering, en op diffusie gebaseerde ruimtevoltooiing geleid door geometrische aannames en adaptieve tekstprompts. In een voorlopige studie binnen proefpersonen, waar 20 deelnemers een samenwerkende VR-affiniteitsdiagramtaak in paren uitvoerden, vergeleken we SpaceBlender met een generieke virtuele omgeving en een state-of-the-art scène-generatiekader, waarbij we de mogelijkheid ervan evalueerden om virtuele ruimtes te creëren die geschikt zijn voor samenwerking. Deelnemers waardeerden de verbeterde vertrouwdheid en context die SpaceBlender bood, maar merkten ook complexiteiten op in de generatieve omgevingen die af konden leiden van de taakfocus. Puttend uit de feedback van deelnemers, stellen we richtingen voor ter verbetering van het proces en bespreken we de waarde en het ontwerp van vermengde ruimtes voor verschillende scenario's.

English

There is increased interest in using generative AI to create 3D spaces for Virtual Reality (VR) applications. However, today's models produce artificial environments, falling short of supporting collaborative tasks that benefit from incorporating the user's physical context. To generate environments that support VR telepresence, we introduce SpaceBlender, a novel pipeline that utilizes generative AI techniques to blend users' physical surroundings into unified virtual spaces. This pipeline transforms user-provided 2D images into context-rich 3D environments through an iterative process consisting of depth estimation, mesh alignment, and diffusion-based space completion guided by geometric priors and adaptive text prompts. In a preliminary within-subjects study, where 20 participants performed a collaborative VR affinity diagramming task in pairs, we compared SpaceBlender with a generic virtual environment and a state-of-the-art scene generation framework, evaluating its ability to create virtual spaces suitable for collaboration. Participants appreciated the enhanced familiarity and context provided by SpaceBlender but also noted complexities in the generative environments that could detract from task focus. Drawing on participant feedback, we propose directions for improving the pipeline and discuss the value and design of blended spaces for different scenarios.