SpaceBlender : Création d'espaces collaboratifs riches en contexte grâce à la fusion générative de scènes 3D

SpaceBlender: Creating Context-Rich Collaborative Spaces Through Generative 3D Scene Blending

September 20, 2024

Auteurs: Nels Numan, Shwetha Rajaram, Balasaravanan Thoravi Kumaravel, Nicolai Marquardt, Andrew D. Wilson

cs.AI

Résumé

Il y a un intérêt croissant à utiliser l'IA générative pour créer des espaces 3D pour les applications de Réalité Virtuelle (RV). Cependant, les modèles actuels produisent des environnements artificiels, ne parvenant pas à soutenir les tâches collaboratives qui bénéficient de l'intégration du contexte physique de l'utilisateur. Pour générer des environnements qui soutiennent la téléprésence en RV, nous présentons SpaceBlender, un nouveau processus qui utilise des techniques d'IA générative pour mélanger les environnements physiques des utilisateurs dans des espaces virtuels unifiés. Ce processus transforme des images 2D fournies par l'utilisateur en environnements 3D riches en contexte à travers un processus itératif comprenant l'estimation de la profondeur, l'alignement des maillages et l'achèvement de l'espace basé sur la diffusion guidée par des prédictions géométriques et des invitations textuelles adaptatives. Dans une étude préliminaire en intra-sujets, où 20 participants ont réalisé une tâche collaborative de diagramme d'affinité en RV en binômes, nous avons comparé SpaceBlender avec un environnement virtuel générique et un cadre de génération de scène de pointe, évaluant sa capacité à créer des espaces virtuels adaptés à la collaboration. Les participants ont apprécié la familiarité améliorée et le contexte fourni par SpaceBlender, mais ont également noté des complexités dans les environnements génératifs qui pourraient détourner l'attention de la tâche. En nous appuyant sur les retours des participants, nous proposons des pistes d'amélioration du processus et discutons de la valeur et de la conception des espaces mixtes pour différents scénarios.

English

There is increased interest in using generative AI to create 3D spaces for Virtual Reality (VR) applications. However, today's models produce artificial environments, falling short of supporting collaborative tasks that benefit from incorporating the user's physical context. To generate environments that support VR telepresence, we introduce SpaceBlender, a novel pipeline that utilizes generative AI techniques to blend users' physical surroundings into unified virtual spaces. This pipeline transforms user-provided 2D images into context-rich 3D environments through an iterative process consisting of depth estimation, mesh alignment, and diffusion-based space completion guided by geometric priors and adaptive text prompts. In a preliminary within-subjects study, where 20 participants performed a collaborative VR affinity diagramming task in pairs, we compared SpaceBlender with a generic virtual environment and a state-of-the-art scene generation framework, evaluating its ability to create virtual spaces suitable for collaboration. Participants appreciated the enhanced familiarity and context provided by SpaceBlender but also noted complexities in the generative environments that could detract from task focus. Drawing on participant feedback, we propose directions for improving the pipeline and discuss the value and design of blended spaces for different scenarios.