StereoPilot: Geünificeerde en Efficiënte Stereoconversie Leren via Generatieve Priors
StereoPilot: Learning Unified and Efficient Stereo Conversion via Generative Priors
December 18, 2025
Auteurs: Guibao Shen, Yihua Du, Wenhang Ge, Jing He, Chirui Chang, Donghao Zhou, Zhen Yang, Luozhou Wang, Xin Tao, Ying-Cong Chen
cs.AI
Samenvatting
De snelle groei van stereoscopische displays, waaronder VR-brillen en 3D-bioscopen, heeft geleid tot een toenemende vraag naar hoogwaardige stereoscopische videocontent. Het produceren van 3D-video's blijft echter kostbaar en complex, terwijl automatische conversie van monocular naar stereo wordt belemmerd door de beperkingen van de meerstaps "Depth-Warp-Inpaint" (DWI)-pipeline. Dit paradigma lijdt onder foutpropagatie, diepte-ambiguïteit en formaatinconsistentie tussen parallelle en convergerende stereoconfiguraties. Om deze uitdagingen aan te pakken, introduceren wij UniStereo, de eerste grootschalige, uniforme dataset voor stereovideoconversie, die beide stereoformaten omvat om eerlijke benchmarking en robuuste modeltraining mogelijk te maken. Voortbouwend op deze dataset stellen wij StereoPilot voor, een efficiënt voorwaarts model dat de doelweergave direct synthetiseert zonder afhankelijk te zijn van expliciete dieptekaarten of iteratieve diffusie-steekproeven. Uitgerust met een leerbare domeinschakelaar en een cycle consistency-verliesfunctie, past StereoPilot zich naadloos aan verschillende stereoformaten aan en bereikt het een verbeterde consistentie. Uitgebreide experimenten tonen aan dat StereoPilot aanzienlijk beter presteert dan state-of-the-art methoden, zowel in visuele kwaliteit als in rekenkundige efficiëntie. Projectpagina: https://hit-perfect.github.io/StereoPilot/.
English
The rapid growth of stereoscopic displays, including VR headsets and 3D cinemas, has led to increasing demand for high-quality stereo video content. However, producing 3D videos remains costly and complex, while automatic Monocular-to-Stereo conversion is hindered by the limitations of the multi-stage ``Depth-Warp-Inpaint'' (DWI) pipeline. This paradigm suffers from error propagation, depth ambiguity, and format inconsistency between parallel and converged stereo configurations. To address these challenges, we introduce UniStereo, the first large-scale unified dataset for stereo video conversion, covering both stereo formats to enable fair benchmarking and robust model training. Building upon this dataset, we propose StereoPilot, an efficient feed-forward model that directly synthesizes the target view without relying on explicit depth maps or iterative diffusion sampling. Equipped with a learnable domain switcher and a cycle consistency loss, StereoPilot adapts seamlessly to different stereo formats and achieves improved consistency. Extensive experiments demonstrate that StereoPilot significantly outperforms state-of-the-art methods in both visual fidelity and computational efficiency. Project page: https://hit-perfect.github.io/StereoPilot/.