RoPECraft: Trainingsfreie Bewegungstransfer mit trajektoriengeführter RoPE-Optimierung auf Diffusionstransformern

RoPECraft: Training-Free Motion Transfer with Trajectory-Guided RoPE Optimization on Diffusion Transformers

May 19, 2025

Autoren: Ahmet Berke Gokmen, Yigit Ekin, Bahri Batuhan Bilecen, Aysegul Dundar

cs.AI

Zusammenfassung

Wir schlagen RoPECraft vor, eine trainingsfreie Methode zur Videobewegungsübertragung für Diffusionstransformatoren, die ausschließlich durch die Modifikation ihrer rotatorischen Positions-Einbettungen (RoPE) arbeitet. Zunächst extrahieren wir den dichten optischen Fluss aus einem Referenzvideo und nutzen die resultierenden Bewegungsverschiebungen, um die komplex-exponentiellen Tensoren der RoPE zu verzerren, wodurch die Bewegung effektiv in den Generierungsprozess kodiert wird. Diese Einbettungen werden dann während der Rauschunterdrückungsschritte weiter optimiert, indem eine Trajektorienausrichtung zwischen den vorhergesagten und den Zielgeschwindigkeiten mithilfe eines Flussabgleichs-Ziels durchgeführt wird. Um die Ausgabe treu zum Textprompt zu halten und doppelte Generierungen zu verhindern, integrieren wir einen Regularisierungsterm, der auf den Phasenkomponenten der Fourier-Transformation des Referenzvideos basiert. Dabei werden die Phasenwinkel auf eine glatte Mannigfaltigkeit projiziert, um hochfrequente Artefakte zu unterdrücken. Experimente auf Benchmark-Datensätzen zeigen, dass RoPECraft alle kürzlich veröffentlichten Methoden sowohl qualitativ als auch quantitativ übertrifft.

English

We propose RoPECraft, a training-free video motion transfer method for diffusion transformers that operates solely by modifying their rotary positional embeddings (RoPE). We first extract dense optical flow from a reference video, and utilize the resulting motion offsets to warp the complex-exponential tensors of RoPE, effectively encoding motion into the generation process. These embeddings are then further optimized during denoising time steps via trajectory alignment between the predicted and target velocities using a flow-matching objective. To keep the output faithful to the text prompt and prevent duplicate generations, we incorporate a regularization term based on the phase components of the reference video's Fourier transform, projecting the phase angles onto a smooth manifold to suppress high-frequency artifacts. Experiments on benchmarks reveal that RoPECraft outperforms all recently published methods, both qualitatively and quantitatively.