StereoPilot: 生成的アプローチによる統合的かつ効率的なステレオ変換の学習

要旨

VRヘッドセットや3D映画など立体ディスプレイの急速な普及に伴い、高品質なステレオ動画コンテンツへの需要が高まっています。しかし、3D動画の制作は依然としてコストと複雑さが課題であり、従来の多段階「深度推定-ワーピング-修復」（DWI）パイプラインによる単眼画像からの自動変換には限界があります。この手法は誤差伝播、深度の曖昧さ、平行法と交差法のステレオ形式間の不一致といった問題を抱えています。これらの課題に対処するため、我々は両ステレオ形式を網羅した初の大規模統合データセットUniStereoを導入し、公平なベンチマークと堅牢なモデル学習を可能にします。このデータセットを基盤として、明示的な深度マップや反復的な拡散サンプリングに依存せずに目標視点を直接合成する効率的な順伝播モデルStereoPilotを提案します。学習可能なドメイン切替器と循環一貫性損失を備えたStereoPilotは、異なるステレオ形式にシームレスに適応し、優れた一貫性を実現します。大規模な実験により、StereoPilotが視覚的品質と計算効率の両面で既存の最先端手法を大幅に上回ることを実証しました。プロジェクトページ：https://hit-perfect.github.io/StereoPilot/

English

The rapid growth of stereoscopic displays, including VR headsets and 3D cinemas, has led to increasing demand for high-quality stereo video content. However, producing 3D videos remains costly and complex, while automatic Monocular-to-Stereo conversion is hindered by the limitations of the multi-stage ``Depth-Warp-Inpaint'' (DWI) pipeline. This paradigm suffers from error propagation, depth ambiguity, and format inconsistency between parallel and converged stereo configurations. To address these challenges, we introduce UniStereo, the first large-scale unified dataset for stereo video conversion, covering both stereo formats to enable fair benchmarking and robust model training. Building upon this dataset, we propose StereoPilot, an efficient feed-forward model that directly synthesizes the target view without relying on explicit depth maps or iterative diffusion sampling. Equipped with a learnable domain switcher and a cycle consistency loss, StereoPilot adapts seamlessly to different stereo formats and achieves improved consistency. Extensive experiments demonstrate that StereoPilot significantly outperforms state-of-the-art methods in both visual fidelity and computational efficiency. Project page: https://hit-perfect.github.io/StereoPilot/.

StereoPilot: 生成的アプローチによる統合的かつ効率的なステレオ変換の学習

StereoPilot: Learning Unified and Efficient Stereo Conversion via Generative Priors

要旨

Support