RoPECraft: Trasferimento del Movimento Senza Addestramento con Ottimizzazione RoPE Guidata da Traiettoria su Trasformatori Diffusivi

RoPECraft: Training-Free Motion Transfer with Trajectory-Guided RoPE Optimization on Diffusion Transformers

May 19, 2025

Autori: Ahmet Berke Gokmen, Yigit Ekin, Bahri Batuhan Bilecen, Aysegul Dundar

cs.AI

Abstract

Proponiamo RoPECraft, un metodo di trasferimento del movimento video senza addestramento per i trasformatori diffusivi che opera esclusivamente modificando i loro embedding posizionali rotazionali (RoPE). Inizialmente estraiamo il flusso ottico denso da un video di riferimento e utilizziamo gli spostamenti di movimento risultanti per deformare i tensori complesso-esponenziali di RoPE, codificando efficacemente il movimento nel processo di generazione. Questi embedding vengono poi ulteriormente ottimizzati durante i passaggi di denoising attraverso l'allineamento della traiettoria tra le velocità previste e quelle target utilizzando un obiettivo di flusso-matching. Per mantenere l'output fedele al prompt testuale e prevenire duplicazioni, incorporiamo un termine di regolarizzazione basato sulle componenti di fase della trasformata di Fourier del video di riferimento, proiettando gli angoli di fase su una varietà liscia per sopprimere gli artefatti ad alta frequenza. Gli esperimenti sui benchmark rivelano che RoPECraft supera tutti i metodi pubblicati di recente, sia qualitativamente che quantitativamente.

English

We propose RoPECraft, a training-free video motion transfer method for diffusion transformers that operates solely by modifying their rotary positional embeddings (RoPE). We first extract dense optical flow from a reference video, and utilize the resulting motion offsets to warp the complex-exponential tensors of RoPE, effectively encoding motion into the generation process. These embeddings are then further optimized during denoising time steps via trajectory alignment between the predicted and target velocities using a flow-matching objective. To keep the output faithful to the text prompt and prevent duplicate generations, we incorporate a regularization term based on the phase components of the reference video's Fourier transform, projecting the phase angles onto a smooth manifold to suppress high-frequency artifacts. Experiments on benchmarks reveal that RoPECraft outperforms all recently published methods, both qualitatively and quantitatively.