ReCamMaster: 단일 비디오에서 카메라 제어 기반 생성적 렌더링

ReCamMaster: Camera-Controlled Generative Rendering from A Single Video

March 14, 2025

저자: Jianhong Bai, Menghan Xia, Xiao Fu, Xintao Wang, Lianrui Mu, Jinwen Cao, Zuozhu Liu, Haoji Hu, Xiang Bai, Pengfei Wan, Di Zhang

cs.AI

초록

카메라 제어는 텍스트 또는 이미지 조건 하의 비디오 생성 작업에서 활발히 연구되어 왔습니다. 그러나 주어진 비디오의 카메라 궤적을 변경하는 것은 비디오 제작 분야에서 중요함에도 불구하고 아직 충분히 탐구되지 않았습니다. 이는 다중 프레임의 외관과 동적 동기화를 유지해야 하는 추가적인 제약으로 인해 사소하지 않은 과제입니다. 이를 해결하기 위해, 우리는 입력 비디오의 동적 장면을 새로운 카메라 궤적에서 재현하는 카메라 제어 생성 비디오 재렌더링 프레임워크인 ReCamMaster를 제안합니다. 핵심 혁신은 사전 훈련된 텍스트-투-비디오 모델의 생성 능력을 단순하지만 강력한 비디오 조건 메커니즘을 통해 활용하는 데 있습니다. 이 능력은 현재 연구에서 종종 간과되고 있습니다. 적합한 훈련 데이터의 부족을 극복하기 위해, 우리는 Unreal Engine 5를 사용하여 다양한 장면과 카메라 움직임을 다루며 현실 세계의 촬영 특성을 따르도록 신중하게 선별된 다중 카메라 동기화 비디오 데이터셋을 구축했습니다. 이는 모델이 실제 환경의 비디오에 일반화할 수 있도록 돕습니다. 마지막으로, 우리는 세심하게 설계된 훈련 전략을 통해 다양한 입력에 대한 견고성을 더욱 개선했습니다. 광범위한 실험을 통해 우리의 방법이 기존의 최첨단 접근법과 강력한 베이스라인을 크게 능가함을 확인했습니다. 또한, 우리의 방법은 비디오 안정화, 초해상도, 아웃페인팅 등에서 유망한 응용 가능성을 보여줍니다. 프로젝트 페이지: https://jianhongbai.github.io/ReCamMaster/

English

Camera control has been actively studied in text or image conditioned video generation tasks. However, altering camera trajectories of a given video remains under-explored, despite its importance in the field of video creation. It is non-trivial due to the extra constraints of maintaining multiple-frame appearance and dynamic synchronization. To address this, we present ReCamMaster, a camera-controlled generative video re-rendering framework that reproduces the dynamic scene of an input video at novel camera trajectories. The core innovation lies in harnessing the generative capabilities of pre-trained text-to-video models through a simple yet powerful video conditioning mechanism -- its capability often overlooked in current research. To overcome the scarcity of qualified training data, we construct a comprehensive multi-camera synchronized video dataset using Unreal Engine 5, which is carefully curated to follow real-world filming characteristics, covering diverse scenes and camera movements. It helps the model generalize to in-the-wild videos. Lastly, we further improve the robustness to diverse inputs through a meticulously designed training strategy. Extensive experiments tell that our method substantially outperforms existing state-of-the-art approaches and strong baselines. Our method also finds promising applications in video stabilization, super-resolution, and outpainting. Project page: https://jianhongbai.github.io/ReCamMaster/