WorldStereo: Связывание генерации видео с управлением камерой и реконструкции сцены посредством 3D геометрических воспоминаний
WorldStereo: Bridging Camera-Guided Video Generation and Scene Reconstruction via 3D Geometric Memories
March 2, 2026
Авторы: Yisu Zhang, Chenjie Cao, Tengfei Wang, Xuhui Zuo, Junta Wu, Jianke Zhu, Chunchao Guo
cs.AI
Аннотация
Последние достижения в области базовых моделей диффузии для видео (Video Diffusion Models, VDM) привели к значительному прогрессу. Однако, несмотря на впечатляющее визуальное качество генерируемых видео, восстановление согласованных 3D-сцен из этих результатов остается сложной задачей из-за ограниченной управляемости камерой и несогласованности генерируемого контента при просмотре с различных траекторий камеры. В данной статье мы предлагаем WorldStereo — новую архитектуру, которая связывает управляемую камерой генерацию видео и 3D-реконструкцию с помощью двух специализированных модулей геометрической памяти. Формально, глобальная геометрическая память обеспечивает точное управление камерой, одновременно внедряя coarse структурные априорные знания через инкрементально обновляемые облака точек. Кроме того, пространственно-стерео память ограничивает рецептивные поля внимания модели 3D-соответствиями, чтобы фокусироваться на мелкодетальных особенностях из банка памяти. Эти компоненты позволяют WorldStereo генерировать видео, согласованные по множеству viewpoints, при точном управлении камерой, что способствует высококачественной 3D-реконструкции. Более того, гибкая branch-архитектура управления WorldStereo демонстрирует впечатляющую эффективность, благодаря использованию backbone VDM, дистиллированного через matching распределений, без совместного обучения. Многочисленные эксперименты на бенчмарках как для управляемой камерой генерации видео, так и для 3D-реконструкции подтверждают эффективность нашего подхода. Примечательно, что мы показываем, как WorldStereo действует как мощная модель мира (world model), решая разнообразные задачи генерации сцен (начинающиеся как с перспективных, так и с панорамных изображений) с получением 3D-результатов высокой точности. Модели будут опубликованы.
English
Recent advances in foundational Video Diffusion Models (VDMs) have yielded significant progress. Yet, despite the remarkable visual quality of generated videos, reconstructing consistent 3D scenes from these outputs remains challenging, due to limited camera controllability and inconsistent generated content when viewed from distinct camera trajectories. In this paper, we propose WorldStereo, a novel framework that bridges camera-guided video generation and 3D reconstruction via two dedicated geometric memory modules. Formally, the global-geometric memory enables precise camera control while injecting coarse structural priors through incrementally updated point clouds. Moreover, the spatial-stereo memory constrains the model's attention receptive fields with 3D correspondence to focus on fine-grained details from the memory bank. These components enable WorldStereo to generate multi-view-consistent videos under precise camera control, facilitating high-quality 3D reconstruction. Furthermore, the flexible control branch-based WorldStereo shows impressive efficiency, benefiting from the distribution matching distilled VDM backbone without joint training. Extensive experiments across both camera-guided video generation and 3D reconstruction benchmarks demonstrate the effectiveness of our approach. Notably, we show that WorldStereo acts as a powerful world model, tackling diverse scene generation tasks (whether starting from perspective or panoramic images) with high-fidelity 3D results. Models will be released.