RoPECraft: Бестренировочный перенос движения с оптимизацией RoPE, управляемой траекторией, на диффузионных трансформерах

RoPECraft: Training-Free Motion Transfer with Trajectory-Guided RoPE Optimization on Diffusion Transformers

May 19, 2025

Авторы: Ahmet Berke Gokmen, Yigit Ekin, Bahri Batuhan Bilecen, Aysegul Dundar

cs.AI

Аннотация

Мы представляем RoPECraft, метод переноса движения в видео без обучения для диффузионных трансформеров, который работает исключительно за счет модификации их ротационных позиционных эмбеддингов (RoPE). Сначала мы извлекаем плотный оптический поток из эталонного видео и используем полученные смещения движения для преобразования комплексно-экспоненциальных тензоров RoPE, эффективно кодируя движение в процесс генерации. Затем эти эмбеддинги дополнительно оптимизируются на этапах денойзинга через выравнивание траекторий между предсказанными и целевыми скоростями с использованием задачи согласования потоков. Чтобы сохранить выходные данные соответствующими текстовому запросу и предотвратить дублирование генераций, мы включаем регуляризационный термин, основанный на фазовых компонентах преобразования Фурье эталонного видео, проецируя фазовые углы на гладкое многообразие для подавления высокочастотных артефактов. Эксперименты на бенчмарках показывают, что RoPECraft превосходит все недавно опубликованные методы как качественно, так и количественно.

English

We propose RoPECraft, a training-free video motion transfer method for diffusion transformers that operates solely by modifying their rotary positional embeddings (RoPE). We first extract dense optical flow from a reference video, and utilize the resulting motion offsets to warp the complex-exponential tensors of RoPE, effectively encoding motion into the generation process. These embeddings are then further optimized during denoising time steps via trajectory alignment between the predicted and target velocities using a flow-matching objective. To keep the output faithful to the text prompt and prevent duplicate generations, we incorporate a regularization term based on the phase components of the reference video's Fourier transform, projecting the phase angles onto a smooth manifold to suppress high-frequency artifacts. Experiments on benchmarks reveal that RoPECraft outperforms all recently published methods, both qualitatively and quantitatively.