RoPECraft: Transferencia de Movimiento sin Entrenamiento con Optimización de RoPE Guiada por Trayectoria en Transformadores de Difusión

RoPECraft: Training-Free Motion Transfer with Trajectory-Guided RoPE Optimization on Diffusion Transformers

May 19, 2025

Autores: Ahmet Berke Gokmen, Yigit Ekin, Bahri Batuhan Bilecen, Aysegul Dundar

cs.AI

Resumen

Proponemos RoPECraft, un método de transferencia de movimiento en vídeo sin entrenamiento para transformadores de difusión que opera únicamente mediante la modificación de sus incrustaciones posicionales rotatorias (RoPE). Primero extraemos el flujo óptico denso de un vídeo de referencia y utilizamos los desplazamientos de movimiento resultantes para deformar los tensores complejo-exponenciales de RoPE, codificando efectivamente el movimiento en el proceso de generación. Estas incrustaciones se optimizan aún más durante los pasos de eliminación de ruido mediante la alineación de trayectorias entre las velocidades predichas y las deseadas, utilizando un objetivo de coincidencia de flujo. Para mantener la fidelidad de la salida al texto de entrada y evitar generaciones duplicadas, incorporamos un término de regularización basado en los componentes de fase de la transformada de Fourier del vídeo de referencia, proyectando los ángulos de fase en una variedad suave para suprimir artefactos de alta frecuencia. Los experimentos en puntos de referencia revelan que RoPECraft supera a todos los métodos publicados recientemente, tanto cualitativa como cuantitativamente.

English

We propose RoPECraft, a training-free video motion transfer method for diffusion transformers that operates solely by modifying their rotary positional embeddings (RoPE). We first extract dense optical flow from a reference video, and utilize the resulting motion offsets to warp the complex-exponential tensors of RoPE, effectively encoding motion into the generation process. These embeddings are then further optimized during denoising time steps via trajectory alignment between the predicted and target velocities using a flow-matching objective. To keep the output faithful to the text prompt and prevent duplicate generations, we incorporate a regularization term based on the phase components of the reference video's Fourier transform, projecting the phase angles onto a smooth manifold to suppress high-frequency artifacts. Experiments on benchmarks reveal that RoPECraft outperforms all recently published methods, both qualitatively and quantitatively.