ReCamMaster: 単一動画からのカメラ制御による生成的レンダリング

ReCamMaster: Camera-Controlled Generative Rendering from A Single Video

March 14, 2025

著者: Jianhong Bai, Menghan Xia, Xiao Fu, Xintao Wang, Lianrui Mu, Jinwen Cao, Zuozhu Liu, Haoji Hu, Xiang Bai, Pengfei Wan, Di Zhang

cs.AI

要旨

カメラ制御は、テキストや画像を条件とした動画生成タスクにおいて積極的に研究されてきた。しかし、与えられた動画のカメラ軌道を変更するという課題は、映像制作の分野における重要性にもかかわらず、十分に探求されていないままである。これは、複数フレームの外観と動的な同期を維持するという追加の制約により、非自明な課題となっている。この問題に対処するため、我々はReCamMasterを提案する。これは、入力動画の動的なシーンを新しいカメラ軌道で再現する、カメラ制御型の生成動画再レンダリングフレームワークである。中核となる革新点は、事前学習済みのテキストから動画を生成するモデルの生成能力を、シンプルでありながら強力な動画条件付けメカニズムを通じて活用することにある。この能力は、現在の研究ではしばしば見過ごされている。質の高い学習データの不足を克服するため、我々はUnreal Engine 5を使用して、現実世界の撮影特性に従い、多様なシーンとカメラの動きをカバーする、包括的なマルチカメラ同期動画データセットを構築した。これにより、モデルが実世界の動画に一般化するのを支援する。最後に、入念に設計された学習戦略を通じて、多様な入力に対するロバスト性をさらに向上させた。大規模な実験により、我々の手法が既存の最先端手法や強力なベースラインを大幅に上回ることが示された。また、我々の手法は、動画の安定化、超解像、およびアウトペインティングにおいて有望な応用を見出している。プロジェクトページ: https://jianhongbai.github.io/ReCamMaster/

English

Camera control has been actively studied in text or image conditioned video generation tasks. However, altering camera trajectories of a given video remains under-explored, despite its importance in the field of video creation. It is non-trivial due to the extra constraints of maintaining multiple-frame appearance and dynamic synchronization. To address this, we present ReCamMaster, a camera-controlled generative video re-rendering framework that reproduces the dynamic scene of an input video at novel camera trajectories. The core innovation lies in harnessing the generative capabilities of pre-trained text-to-video models through a simple yet powerful video conditioning mechanism -- its capability often overlooked in current research. To overcome the scarcity of qualified training data, we construct a comprehensive multi-camera synchronized video dataset using Unreal Engine 5, which is carefully curated to follow real-world filming characteristics, covering diverse scenes and camera movements. It helps the model generalize to in-the-wild videos. Lastly, we further improve the robustness to diverse inputs through a meticulously designed training strategy. Extensive experiments tell that our method substantially outperforms existing state-of-the-art approaches and strong baselines. Our method also finds promising applications in video stabilization, super-resolution, and outpainting. Project page: https://jianhongbai.github.io/ReCamMaster/