SpaceBlender: Erstellung von kontextreichen kollaborativen Räumen durch generatives 3D-Szenen-Blending.

SpaceBlender: Creating Context-Rich Collaborative Spaces Through Generative 3D Scene Blending

September 20, 2024

Autoren: Nels Numan, Shwetha Rajaram, Balasaravanan Thoravi Kumaravel, Nicolai Marquardt, Andrew D. Wilson

cs.AI

Zusammenfassung

Es besteht ein wachsendes Interesse an der Verwendung von generativer KI zur Erstellung von 3D-Räumen für Anwendungen in der Virtuellen Realität (VR). Allerdings erzeugen heutige Modelle künstliche Umgebungen, die nicht ausreichen, um kollaborative Aufgaben zu unterstützen, die von der Einbeziehung des physischen Kontexts des Benutzers profitieren. Um Umgebungen zu generieren, die die VR-Telepräsenz unterstützen, stellen wir SpaceBlender vor, eine neuartige Pipeline, die generative KI-Techniken nutzt, um die physische Umgebung der Benutzer in vereinheitlichte virtuelle Räume zu integrieren. Diese Pipeline verwandelt vom Benutzer bereitgestellte 2D-Bilder in kontextreiche 3D-Umgebungen durch einen iterativen Prozess, der aus Tiefenschätzung, Mesh-Ausrichtung und diffusionsbasierter Raumvervollständigung besteht, die durch geometrische Prioritäten und adaptive Texteingaben geleitet werden. In einer vorläufigen Studie mit innerhalb der Teilnehmer durchgeführten Untersuchungen, bei der 20 Teilnehmer eine kollaborative VR-Affinitätsdiagrammerstellungsaufgabe in Paaren durchführten, verglichen wir SpaceBlender mit einer generischen virtuellen Umgebung und einem hochmodernen Szenengenerierungsrahmen, um seine Fähigkeit zur Erstellung von virtuellen Räumen, die für die Zusammenarbeit geeignet sind, zu bewerten. Die Teilnehmer schätzten die verbesserte Vertrautheit und den Kontext, die von SpaceBlender geboten wurden, bemerkten jedoch auch Komplexitäten in den generativen Umgebungen, die von der Aufgabenfokussierung ablenken könnten. Basierend auf dem Feedback der Teilnehmer schlagen wir Richtungen zur Verbesserung der Pipeline vor und diskutieren den Wert und das Design von verschmolzenen Räumen für verschiedene Szenarien.

English

There is increased interest in using generative AI to create 3D spaces for Virtual Reality (VR) applications. However, today's models produce artificial environments, falling short of supporting collaborative tasks that benefit from incorporating the user's physical context. To generate environments that support VR telepresence, we introduce SpaceBlender, a novel pipeline that utilizes generative AI techniques to blend users' physical surroundings into unified virtual spaces. This pipeline transforms user-provided 2D images into context-rich 3D environments through an iterative process consisting of depth estimation, mesh alignment, and diffusion-based space completion guided by geometric priors and adaptive text prompts. In a preliminary within-subjects study, where 20 participants performed a collaborative VR affinity diagramming task in pairs, we compared SpaceBlender with a generic virtual environment and a state-of-the-art scene generation framework, evaluating its ability to create virtual spaces suitable for collaboration. Participants appreciated the enhanced familiarity and context provided by SpaceBlender but also noted complexities in the generative environments that could detract from task focus. Drawing on participant feedback, we propose directions for improving the pipeline and discuss the value and design of blended spaces for different scenarios.