StereoWorld : Génération de vidéos stéréo à partir de vidéos monoculaires avec prise en compte de la géométrie
StereoWorld: Geometry-Aware Monocular-to-Stereo Video Generation
December 10, 2025
papers.authors: Ke Xing, Longfei Li, Yuyang Yin, Hanwen Liang, Guixun Luo, Chen Fang, Jue Wang, Konstantinos N. Plataniotis, Xiaojie Jin, Yao Zhao, Yunchao Wei
cs.AI
papers.abstract
L'adoption croissante des dispositifs de réalité étendue (XR) a stimulé une forte demande pour des vidéos stéréoscopiques de haute qualité, mais leur production reste coûteuse et sujette aux artefacts. Pour relever ce défi, nous présentons StereoWorld, un cadre de travail de bout en bout qui réadapte un générateur de vidéos pré-entraîné pour la génération de vidéos monoculaires vers stéréoscopiques de haute fidélité. Notre cadre conditionne conjointement le modèle sur l'entrée vidéo monoculaire tout en supervisant explicitement la génération avec une régularisation géométrique pour garantir la fidélité structurelle 3D. Un schéma de pavage spatio-temporel est en outre intégré pour permettre une synthèse haute résolution efficace. Pour permettre un entraînement et une évaluation à grande échelle, nous avons constitué un jeu de données de vidéos stéréoscopiques haute définition contenant plus de 11 millions d'images alignées sur la distance interpupillaire (IPD) humaine naturelle. Des expériences approfondies démontrent que StereoWorld surpasse substantiellement les méthodes antérieures, générant des vidéos stéréoscopiques avec une fidélité visuelle et une cohérence géométrique supérieures. La page web du projet est disponible à l'adresse https://ke-xing.github.io/StereoWorld/.
English
The growing adoption of XR devices has fueled strong demand for high-quality stereo video, yet its production remains costly and artifact-prone. To address this challenge, we present StereoWorld, an end-to-end framework that repurposes a pretrained video generator for high-fidelity monocular-to-stereo video generation. Our framework jointly conditions the model on the monocular video input while explicitly supervising the generation with a geometry-aware regularization to ensure 3D structural fidelity. A spatio-temporal tiling scheme is further integrated to enable efficient, high-resolution synthesis. To enable large-scale training and evaluation, we curate a high-definition stereo video dataset containing over 11M frames aligned to natural human interpupillary distance (IPD). Extensive experiments demonstrate that StereoWorld substantially outperforms prior methods, generating stereo videos with superior visual fidelity and geometric consistency. The project webpage is available at https://ke-xing.github.io/StereoWorld/.