RoPECraft : Transfert de mouvement sans entraînement grâce à l'optimisation RoPE guidée par trajectoire sur les transformeurs de diffusion

RoPECraft: Training-Free Motion Transfer with Trajectory-Guided RoPE Optimization on Diffusion Transformers

May 19, 2025

Auteurs: Ahmet Berke Gokmen, Yigit Ekin, Bahri Batuhan Bilecen, Aysegul Dundar

cs.AI

Résumé

Nous proposons RoPECraft, une méthode de transfert de mouvement vidéo sans apprentissage pour les transformateurs à diffusion, qui fonctionne uniquement en modifiant leurs embeddings positionnels rotatifs (RoPE). Nous extrayons d'abord le flux optique dense d'une vidéo de référence, puis utilisons les décalages de mouvement résultants pour déformer les tenseurs complexe-exponentiels de RoPE, encodant ainsi efficacement le mouvement dans le processus de génération. Ces embeddings sont ensuite optimisés davantage pendant les étapes de débruitage via un alignement de trajectoire entre les vitesses prédites et cibles, en utilisant un objectif de correspondance de flux. Pour maintenir la fidélité de la sortie à l'invite textuelle et éviter les générations en double, nous intégrons un terme de régularisation basé sur les composantes de phase de la transformée de Fourier de la vidéo de référence, projetant les angles de phase sur une variété lisse pour supprimer les artefacts haute fréquence. Les expériences sur des benchmarks révèlent que RoPECraft surpasse toutes les méthodes récemment publiées, à la fois qualitativement et quantitativement.

English

We propose RoPECraft, a training-free video motion transfer method for diffusion transformers that operates solely by modifying their rotary positional embeddings (RoPE). We first extract dense optical flow from a reference video, and utilize the resulting motion offsets to warp the complex-exponential tensors of RoPE, effectively encoding motion into the generation process. These embeddings are then further optimized during denoising time steps via trajectory alignment between the predicted and target velocities using a flow-matching objective. To keep the output faithful to the text prompt and prevent duplicate generations, we incorporate a regularization term based on the phase components of the reference video's Fourier transform, projecting the phase angles onto a smooth manifold to suppress high-frequency artifacts. Experiments on benchmarks reveal that RoPECraft outperforms all recently published methods, both qualitatively and quantitatively.