StereoWorld: Generación de Video Estéreo a partir de Monocular con Conciencia Geométrica
StereoWorld: Geometry-Aware Monocular-to-Stereo Video Generation
December 10, 2025
Autores: Ke Xing, Longfei Li, Yuyang Yin, Hanwen Liang, Guixun Luo, Chen Fang, Jue Wang, Konstantinos N. Plataniotis, Xiaojie Jin, Yao Zhao, Yunchao Wei
cs.AI
Resumen
La creciente adopción de dispositivos de realidad extendida (XR) ha impulsado una fuerte demanda de video estéreo de alta calidad, aunque su producción sigue siendo costosa y propensa a artefactos. Para abordar este desafío, presentamos StereoWorld, un marco integral que readapta un generador de video preentrenado para la generación de video monoculares a estéreo de alta fidelidad. Nuestro marco condiciona conjuntamente al modelo con la entrada de video monocular mientras supervisa explícitamente la generación con una regularización consciente de la geometría para garantizar la fidelidad estructural 3D. Se integra además un esquema de mosaico espaciotemporal para permitir una síntesis eficiente de alta resolución. Para posibilitar el entrenamiento y evaluación a gran escala, hemos creado un conjunto de datos de video estéreo en alta definición que contiene más de 11 millones de fotogramas alineados con la distancia interpupilar (IPD) humana natural. Experimentos exhaustivos demuestran que StereoWorld supera sustancialmente a métodos anteriores, generando videos estéreo con una fidelidad visual y consistencia geométrica superiores. La página web del proyecto está disponible en https://ke-xing.github.io/StereoWorld/.
English
The growing adoption of XR devices has fueled strong demand for high-quality stereo video, yet its production remains costly and artifact-prone. To address this challenge, we present StereoWorld, an end-to-end framework that repurposes a pretrained video generator for high-fidelity monocular-to-stereo video generation. Our framework jointly conditions the model on the monocular video input while explicitly supervising the generation with a geometry-aware regularization to ensure 3D structural fidelity. A spatio-temporal tiling scheme is further integrated to enable efficient, high-resolution synthesis. To enable large-scale training and evaluation, we curate a high-definition stereo video dataset containing over 11M frames aligned to natural human interpupillary distance (IPD). Extensive experiments demonstrate that StereoWorld substantially outperforms prior methods, generating stereo videos with superior visual fidelity and geometric consistency. The project webpage is available at https://ke-xing.github.io/StereoWorld/.