RoPECraft: Training-vrije Bewegingsoverdracht met Trajectorie-geleide RoPE-optimalisatie op Diffusion Transformers

RoPECraft: Training-Free Motion Transfer with Trajectory-Guided RoPE Optimization on Diffusion Transformers

May 19, 2025

Auteurs: Ahmet Berke Gokmen, Yigit Ekin, Bahri Batuhan Bilecen, Aysegul Dundar

cs.AI

Samenvatting

We stellen RoPECraft voor, een trainingsvrije methode voor videobewegingsoverdracht voor diffusietransformers die uitsluitend werkt door hun roterende positionele embeddings (RoPE) aan te passen. We extraheren eerst dicht optisch flow uit een referentievideo en gebruiken de resulterende bewegingsverschuivingen om de complex-exponentiële tensoren van RoPE te vervormen, waardoor beweging effectief wordt gecodeerd in het generatieproces. Deze embeddings worden vervolgens verder geoptimaliseerd tijdens de denoising-stappen via trajectorie-uitlijning tussen de voorspelde en doel-snelheden met behulp van een flow-matching doelstelling. Om de uitvoer trouw te houden aan de tekstprompt en dubbele generaties te voorkomen, incorporeren we een regularisatieterm gebaseerd op de fasecomponenten van de Fourier-transformatie van de referentievideo, waarbij de fasehoeken worden geprojecteerd op een gladde variëteit om hoogfrequente artefacten te onderdrukken. Experimenten op benchmarks tonen aan dat RoPECraft alle recent gepubliceerde methoden zowel kwalitatief als kwantitatief overtreft.

English

We propose RoPECraft, a training-free video motion transfer method for diffusion transformers that operates solely by modifying their rotary positional embeddings (RoPE). We first extract dense optical flow from a reference video, and utilize the resulting motion offsets to warp the complex-exponential tensors of RoPE, effectively encoding motion into the generation process. These embeddings are then further optimized during denoising time steps via trajectory alignment between the predicted and target velocities using a flow-matching objective. To keep the output faithful to the text prompt and prevent duplicate generations, we incorporate a regularization term based on the phase components of the reference video's Fourier transform, projecting the phase angles onto a smooth manifold to suppress high-frequency artifacts. Experiments on benchmarks reveal that RoPECraft outperforms all recently published methods, both qualitatively and quantitatively.