SVG: ノイズ除去フレーム行列による3Dステレオスコピック動画生成

SVG: 3D Stereoscopic Video Generation via Denoising Frame Matrix

June 29, 2024

著者: Peng Dai, Feitong Tan, Qiangeng Xu, David Futschik, Ruofei Du, Sean Fanello, Xiaojuan Qi, Yinda Zhang

cs.AI

要旨

ビデオ生成モデルは、印象的な単眼ビデオを生成する優れた能力を示していますが、3Dステレオスコピックビデオの生成はまだ十分に探索されていません。本研究では、市販の単眼ビデオ生成モデルを使用して、3Dステレオスコピックビデオを生成するためのポーズ不要かつトレーニング不要なアプローチを提案します。本手法では、生成された単眼ビデオを推定されたビデオ深度を使用してステレオスコピックベースライン上のカメラビューにワープし、新しいフレーム行列ビデオインペインティングフレームワークを採用します。このフレームワークは、ビデオ生成モデルを活用して、異なるタイムスタンプとビューから観察されたフレームをインペイントします。この効果的なアプローチにより、シーン最適化やモデルのファインチューニングなしで、一貫性と意味的整合性のあるステレオスコピックビデオを生成します。さらに、潜在空間におけるディスオクルージョン領域から伝播する負の影響を軽減することで、ビデオインペインティングの品質をさらに向上させるディスオクルージョン境界再注入スキームを開発します。提案手法の有効性を検証するため、Sora [4]、Lumiere [2]、WALT [8]、Zeroscope [42]など、さまざまな生成モデルからのビデオを用いて実験を行いました。実験結果は、本手法が従来の手法に比べて大幅な改善をもたらすことを示しています。コードはhttps://daipengwa.github.io/SVG_ProjectPageで公開されます。

English

Video generation models have demonstrated great capabilities of producing impressive monocular videos, however, the generation of 3D stereoscopic video remains under-explored. We propose a pose-free and training-free approach for generating 3D stereoscopic videos using an off-the-shelf monocular video generation model. Our method warps a generated monocular video into camera views on stereoscopic baseline using estimated video depth, and employs a novel frame matrix video inpainting framework. The framework leverages the video generation model to inpaint frames observed from different timestamps and views. This effective approach generates consistent and semantically coherent stereoscopic videos without scene optimization or model fine-tuning. Moreover, we develop a disocclusion boundary re-injection scheme that further improves the quality of video inpainting by alleviating the negative effects propagated from disoccluded areas in the latent space. We validate the efficacy of our proposed method by conducting experiments on videos from various generative models, including Sora [4 ], Lumiere [2], WALT [8 ], and Zeroscope [ 42]. The experiments demonstrate that our method has a significant improvement over previous methods. The code will be released at https://daipengwa.github.io/SVG_ProjectPage.