Vivid4D：ビデオインペインティングによる単眼ビデオからの4D再構成の改善

Vivid4D: Improving 4D Reconstruction from Monocular Video by Video Inpainting

April 15, 2025

著者: Jiaxin Huang, Sheng Miao, BangBnag Yang, Yuewen Ma, Yiyi Liao

cs.AI

要旨

単眼動画から4次元の動的シーンを再構築することは価値があるが、各タイムスタンプが単一の視点からしか観測されないため、非常に困難な課題です。本論文では、Vivid4Dという新しいアプローチを提案します。これは、観測視点を拡張することで4次元単眼動画の合成を向上させるもので、単眼入力から多視点動画を生成します。既存の手法は、幾何学的な事前知識のみを利用するか、あるいは幾何学を無視して生成的アプローチを採用するかのどちらかでしたが、我々は両者を統合します。これにより、視点拡張をビデオインペインティングタスクとして再定式化し、単眼深度の事前知識に基づいて観測された視点を新しい視点にワープさせます。これを実現するため、ワープによるオクルージョンを模倣した合成マスクを用いて、ポーズ情報のないウェブ動画でビデオインペインティングモデルを訓練し、欠損領域の空間的・時間的一貫性を保証します。さらに、単眼深度の事前知識の不正確さを軽減するため、反復的な視点拡張戦略とロバストな再構成損失を導入します。実験結果から、本手法が単眼4Dシーンの再構築と補完を効果的に改善することが示されました。

English

Reconstructing 4D dynamic scenes from casually captured monocular videos is valuable but highly challenging, as each timestamp is observed from a single viewpoint. We introduce Vivid4D, a novel approach that enhances 4D monocular video synthesis by augmenting observation views - synthesizing multi-view videos from a monocular input. Unlike existing methods that either solely leverage geometric priors for supervision or use generative priors while overlooking geometry, we integrate both. This reformulates view augmentation as a video inpainting task, where observed views are warped into new viewpoints based on monocular depth priors. To achieve this, we train a video inpainting model on unposed web videos with synthetically generated masks that mimic warping occlusions, ensuring spatially and temporally consistent completion of missing regions. To further mitigate inaccuracies in monocular depth priors, we introduce an iterative view augmentation strategy and a robust reconstruction loss. Experiments demonstrate that our method effectively improves monocular 4D scene reconstruction and completion.