ReDirector: 回転カメラエンコーディングによる任意の長さのビデオリテイク生成

要旨

本論文では、動的に撮影された可変長ビデオ向けの、カメラ制御による新規リテイク生成手法「ReDirector」を提案する。特に、既存研究におけるRoPEの一般的な誤用を是正し、入力ビデオと目標リテイクの時空間的位置を整合させる。さらに、回転カメラ符号化（RoCE）を導入する。これはカメラ条件付きのRoPE位相シフトであり、入力ビデオと目標リテイク内およびそれらを跨るマルチビュー関係を捕捉・統合する。カメラ条件をRoPEに組み込むことで、本手法は分布外のカメラ軌道やビデオ長に一般化し、動的オブジェクトの位置特定と静的背景の保持が改善される。各種軌道と長さにわたる広範な実験により、カメラ制御性、幾何学的一貫性、ビデオ品質の大幅な向上が実証された。

English

We present ReDirector, a novel camera-controlled video retake generation method for dynamically captured variable-length videos. In particular, we rectify a common misuse of RoPE in previous works by aligning the spatiotemporal positions of the input video and the target retake. Moreover, we introduce Rotary Camera Encoding (RoCE), a camera-conditioned RoPE phase shift that captures and integrates multi-view relationships within and across the input and target videos. By integrating camera conditions into RoPE, our method generalizes to out-of-distribution camera trajectories and video lengths, yielding improved dynamic object localization and static background preservation. Extensive experiments further demonstrate significant improvements in camera controllability, geometric consistency, and video quality across various trajectories and lengths.

ReDirector: 回転カメラエンコーディングによる任意の長さのビデオリテイク生成

ReDirector: Creating Any-Length Video Retakes with Rotary Camera Encoding

要旨

Support