RoPECraft: Transferência de Movimento sem Treinamento com Otimização de RoPE Guiada por Trajetória em Transformadores de Difusão

RoPECraft: Training-Free Motion Transfer with Trajectory-Guided RoPE Optimization on Diffusion Transformers

May 19, 2025

Autores: Ahmet Berke Gokmen, Yigit Ekin, Bahri Batuhan Bilecen, Aysegul Dundar

cs.AI

Resumo

Propomos o RoPECraft, um método de transferência de movimento em vídeo sem necessidade de treinamento para transformadores de difusão que opera exclusivamente pela modificação de suas incorporações posicionais rotativas (RoPE). Primeiramente, extraímos o fluxo óptico denso de um vídeo de referência e utilizamos os deslocamentos de movimento resultantes para deformar os tensores complexo-exponenciais do RoPE, codificando efetivamente o movimento no processo de geração. Essas incorporações são então otimizadas durante as etapas de remoção de ruído por meio do alinhamento de trajetórias entre as velocidades previstas e as almejadas, utilizando um objetivo de correspondência de fluxo. Para manter a fidelidade da saída ao prompt de texto e evitar gerações duplicadas, incorporamos um termo de regularização baseado nos componentes de fase da transformada de Fourier do vídeo de referência, projetando os ângulos de fase em uma variedade suave para suprimir artefatos de alta frequência. Experimentos em benchmarks revelam que o RoPECraft supera todos os métodos recentemente publicados, tanto qualitativa quanto quantitativamente.

English

We propose RoPECraft, a training-free video motion transfer method for diffusion transformers that operates solely by modifying their rotary positional embeddings (RoPE). We first extract dense optical flow from a reference video, and utilize the resulting motion offsets to warp the complex-exponential tensors of RoPE, effectively encoding motion into the generation process. These embeddings are then further optimized during denoising time steps via trajectory alignment between the predicted and target velocities using a flow-matching objective. To keep the output faithful to the text prompt and prevent duplicate generations, we incorporate a regularization term based on the phase components of the reference video's Fourier transform, projecting the phase angles onto a smooth manifold to suppress high-frequency artifacts. Experiments on benchmarks reveal that RoPECraft outperforms all recently published methods, both qualitatively and quantitatively.