ReDirector: 로터리 카메라 인코딩을 통한 다양한 길이의 비디오 리테이크 생성

초록

저희는 동적으로 캡처된 가변 길이 비디오를 위한 새로운 카메라 제어 비디오 리테이크 생성 방법인 ReDirector를 제안합니다. 특히, 입력 비디오와 목표 리테이크의 시공간적 위치를 정렬하여 기존 연구에서 RoPE의 일반적인 오용을 바로잡습니다. 더 나아가, 입력 비디오와 목표 비디오 내부 및 간의 다중 뷰 관계를 포착하고 통합하는 카메라 조건부 RoPE 위상 변위인 Rotary Camera Encoding(RoCE)을 도입합니다. 카메라 조건을 RoPE에 통합함으로써 우리의 방법은 분포 외 카메라 궤적과 비디오 길이로도 일반화되어 향상된 동적 객체 위치 지정과 정적 배경 보존을 가능하게 합니다. 다양한 궤적과 길이에 걸친 카메라 제어성, 기하학적 일관성 및 비디오 품질에서의 상당한 향상을 광범위한 실험을 통해 추가로 입증합니다.

English

We present ReDirector, a novel camera-controlled video retake generation method for dynamically captured variable-length videos. In particular, we rectify a common misuse of RoPE in previous works by aligning the spatiotemporal positions of the input video and the target retake. Moreover, we introduce Rotary Camera Encoding (RoCE), a camera-conditioned RoPE phase shift that captures and integrates multi-view relationships within and across the input and target videos. By integrating camera conditions into RoPE, our method generalizes to out-of-distribution camera trajectories and video lengths, yielding improved dynamic object localization and static background preservation. Extensive experiments further demonstrate significant improvements in camera controllability, geometric consistency, and video quality across various trajectories and lengths.

ReDirector: 로터리 카메라 인코딩을 통한 다양한 길이의 비디오 리테이크 생성

ReDirector: Creating Any-Length Video Retakes with Rotary Camera Encoding

초록

Support