SpaceBlender: Creando Espacios Colaborativos Ricos en Contexto a Través de la Mezcla Generativa de Escenas 3D

SpaceBlender: Creating Context-Rich Collaborative Spaces Through Generative 3D Scene Blending

September 20, 2024

Autores: Nels Numan, Shwetha Rajaram, Balasaravanan Thoravi Kumaravel, Nicolai Marquardt, Andrew D. Wilson

cs.AI

Resumen

Existe un creciente interés en utilizar la IA generativa para crear espacios 3D para aplicaciones de Realidad Virtual (RV). Sin embargo, los modelos actuales producen entornos artificiales que no son suficientes para respaldar tareas colaborativas que se benefician de la incorporación del contexto físico del usuario. Para generar entornos que respalden la telepresencia en RV, presentamos SpaceBlender, un nuevo proceso que utiliza técnicas de IA generativa para mezclar los entornos físicos de los usuarios en espacios virtuales unificados. Este proceso transforma imágenes 2D proporcionadas por el usuario en entornos 3D ricos en contexto a través de un proceso iterativo que incluye estimación de profundidad, alineación de mallas y completado de espacios basado en difusión, guiado por prioridades geométricas y sugerencias de texto adaptativas. En un estudio preliminar dentro de sujetos, donde 20 participantes realizaron una tarea colaborativa de diagramación de afinidad en RV en parejas, comparamos SpaceBlender con un entorno virtual genérico y un marco de generación de escenas de última generación, evaluando su capacidad para crear espacios virtuales adecuados para la colaboración. Los participantes valoraron la mayor familiaridad y contexto proporcionados por SpaceBlender, pero también señalaron complejidades en los entornos generativos que podrían distraer del enfoque en la tarea. Basándonos en los comentarios de los participantes, proponemos direcciones para mejorar el proceso y discutimos el valor y diseño de espacios mezclados para diferentes escenarios.

English

There is increased interest in using generative AI to create 3D spaces for Virtual Reality (VR) applications. However, today's models produce artificial environments, falling short of supporting collaborative tasks that benefit from incorporating the user's physical context. To generate environments that support VR telepresence, we introduce SpaceBlender, a novel pipeline that utilizes generative AI techniques to blend users' physical surroundings into unified virtual spaces. This pipeline transforms user-provided 2D images into context-rich 3D environments through an iterative process consisting of depth estimation, mesh alignment, and diffusion-based space completion guided by geometric priors and adaptive text prompts. In a preliminary within-subjects study, where 20 participants performed a collaborative VR affinity diagramming task in pairs, we compared SpaceBlender with a generic virtual environment and a state-of-the-art scene generation framework, evaluating its ability to create virtual spaces suitable for collaboration. Participants appreciated the enhanced familiarity and context provided by SpaceBlender but also noted complexities in the generative environments that could detract from task focus. Drawing on participant feedback, we propose directions for improving the pipeline and discuss the value and design of blended spaces for different scenarios.