TrajectoryCrafter: 확산 모델을 활용한 단안 비디오의 카메라 궤적 재조정

TrajectoryCrafter: Redirecting Camera Trajectory for Monocular Videos via Diffusion Models

March 7, 2025

저자: Mark YU, Wenbo Hu, Jinbo Xing, Ying Shan

cs.AI

초록

우리는 단안 비디오를 위한 카메라 궤적 재조정을 위한 새로운 접근법인 TrajectoryCrafter를 소개합니다. 결정론적 시점 변환을 확률적 콘텐츠 생성으로부터 분리함으로써, 우리의 방법은 사용자가 지정한 카메라 궤적에 대한 정밀한 제어를 달성합니다. 우리는 포인트 클라우드 렌더링과 소스 비디오를 조건으로 동시에 통합하는 새로운 이중 스트림 조건부 비디오 확산 모델을 제안하여, 정확한 시점 변환과 일관된 4D 콘텐츠 생성을 보장합니다. 희소한 다중 시점 비디오를 활용하는 대신, 우리는 웹 규모의 단안 비디오와 정적 다중 시점 데이터셋을 결합한 하이브리드 훈련 데이터셋을 혁신적인 이중 재투영 전략을 통해 구성함으로써, 다양한 장면에서의 강력한 일반화를 크게 촉진합니다. 다중 시점 및 대규모 단안 비디오에 대한 광범위한 평가를 통해 우리 방법의 우수한 성능을 입증합니다.

English

We present TrajectoryCrafter, a novel approach to redirect camera trajectories for monocular videos. By disentangling deterministic view transformations from stochastic content generation, our method achieves precise control over user-specified camera trajectories. We propose a novel dual-stream conditional video diffusion model that concurrently integrates point cloud renders and source videos as conditions, ensuring accurate view transformations and coherent 4D content generation. Instead of leveraging scarce multi-view videos, we curate a hybrid training dataset combining web-scale monocular videos with static multi-view datasets, by our innovative double-reprojection strategy, significantly fostering robust generalization across diverse scenes. Extensive evaluations on multi-view and large-scale monocular videos demonstrate the superior performance of our method.