SpaceBlender: Создание контекстно насыщенных совместных пространств через генеративное смешивание трехмерных сцен.

SpaceBlender: Creating Context-Rich Collaborative Spaces Through Generative 3D Scene Blending

September 20, 2024

Авторы: Nels Numan, Shwetha Rajaram, Balasaravanan Thoravi Kumaravel, Nicolai Marquardt, Andrew D. Wilson

cs.AI

Аннотация

Возрос интерес к использованию генеративного искусственного интеллекта для создания трехмерных пространств для приложений виртуальной реальности (VR). Однако существующие модели создают искусственные окружения, не способные поддерживать совместные задачи, которые могли бы воспользоваться включением физического контекста пользователя. Для создания окружений, поддерживающих телеприсутствие в VR, мы представляем SpaceBlender - новый конвейер, использующий техники генеративного искусственного интеллекта для слияния физического окружения пользователей в единые виртуальные пространства. Этот конвейер преобразует предоставленные пользователями двумерные изображения в контекстно насыщенные трехмерные окружения через итеративный процесс, включающий оценку глубины, выравнивание мешей и завершение пространства на основе диффузии, управляемое геометрическими априорными данными и адаптивными текстовыми подсказками. В предварительном исследовании внутригруппового типа, в котором 20 участников выполняли совместную задачу по составлению диаграммы аффинности в VR в парах, мы сравнили SpaceBlender с общим виртуальным окружением и передовой системой генерации сцен, оценив его способность создавать виртуальные пространства, подходящие для совместной работы. Участники оценили улучшенную знакомую обстановку и контекст, предоставленные SpaceBlender, но также отметили сложности в генеративных окружениях, которые могли бы отвлечь от задачи. Основываясь на обратной связи участников, мы предлагаем направления для улучшения конвейера и обсуждаем ценность и дизайн смешанных пространств для различных сценариев.

English

There is increased interest in using generative AI to create 3D spaces for Virtual Reality (VR) applications. However, today's models produce artificial environments, falling short of supporting collaborative tasks that benefit from incorporating the user's physical context. To generate environments that support VR telepresence, we introduce SpaceBlender, a novel pipeline that utilizes generative AI techniques to blend users' physical surroundings into unified virtual spaces. This pipeline transforms user-provided 2D images into context-rich 3D environments through an iterative process consisting of depth estimation, mesh alignment, and diffusion-based space completion guided by geometric priors and adaptive text prompts. In a preliminary within-subjects study, where 20 participants performed a collaborative VR affinity diagramming task in pairs, we compared SpaceBlender with a generic virtual environment and a state-of-the-art scene generation framework, evaluating its ability to create virtual spaces suitable for collaboration. Participants appreciated the enhanced familiarity and context provided by SpaceBlender but also noted complexities in the generative environments that could detract from task focus. Drawing on participant feedback, we propose directions for improving the pipeline and discuss the value and design of blended spaces for different scenarios.