SpaceBlender: Creazione di spazi collaborativi ricchi di contesto attraverso la fusione generativa di scene 3D

SpaceBlender: Creating Context-Rich Collaborative Spaces Through Generative 3D Scene Blending

September 20, 2024

Autori: Nels Numan, Shwetha Rajaram, Balasaravanan Thoravi Kumaravel, Nicolai Marquardt, Andrew D. Wilson

cs.AI

Abstract

C'è un crescente interesse nell'utilizzare l'IA generativa per creare spazi 3D per le applicazioni di Realtà Virtuale (VR). Tuttavia, i modelli attuali producono ambienti artificiali, non supportando appieno compiti collaborativi che trarrebbero vantaggio dall'incorporare il contesto fisico dell'utente. Per generare ambienti che supportino la telepresenza VR, presentiamo SpaceBlender, un nuovo processo che utilizza tecniche di IA generativa per mescolare gli ambienti fisici degli utenti in spazi virtuali unificati. Questo processo trasforma le immagini 2D fornite dagli utenti in ambienti 3D ricchi di contesto attraverso un processo iterativo composto da stima della profondità, allineamento delle mesh e completamento dello spazio basato sulla diffusione guidata da priorità geometriche e prompt di testo adattivi. In uno studio preliminare tra soggetti, in cui 20 partecipanti hanno svolto un compito collaborativo di diagrammi di affinità VR in coppie, abbiamo confrontato SpaceBlender con un ambiente virtuale generico e un framework di generazione di scene all'avanguardia, valutandone la capacità di creare spazi virtuali adatti alla collaborazione. I partecipanti hanno apprezzato la maggiore familiarità e contesto forniti da SpaceBlender, ma hanno anche notato complessità negli ambienti generativi che potrebbero distogliere l'attenzione dal compito. Basandoci sul feedback dei partecipanti, proponiamo indicazioni per migliorare il processo e discutiamo il valore e il design degli spazi mescolati per scenari diversi.

English

There is increased interest in using generative AI to create 3D spaces for Virtual Reality (VR) applications. However, today's models produce artificial environments, falling short of supporting collaborative tasks that benefit from incorporating the user's physical context. To generate environments that support VR telepresence, we introduce SpaceBlender, a novel pipeline that utilizes generative AI techniques to blend users' physical surroundings into unified virtual spaces. This pipeline transforms user-provided 2D images into context-rich 3D environments through an iterative process consisting of depth estimation, mesh alignment, and diffusion-based space completion guided by geometric priors and adaptive text prompts. In a preliminary within-subjects study, where 20 participants performed a collaborative VR affinity diagramming task in pairs, we compared SpaceBlender with a generic virtual environment and a state-of-the-art scene generation framework, evaluating its ability to create virtual spaces suitable for collaboration. Participants appreciated the enhanced familiarity and context provided by SpaceBlender but also noted complexities in the generative environments that could detract from task focus. Drawing on participant feedback, we propose directions for improving the pipeline and discuss the value and design of blended spaces for different scenarios.