Transfert de mouvement vidéo avec transformateurs de diffusion

papers.abstract

Nous proposons DiTFlow, une méthode de transfert du mouvement d'une vidéo de référence vers une nouvelle vidéo synthétisée, conçue spécifiquement pour les Transformateurs de Diffusion (DiT). Nous traitons d'abord la vidéo de référence avec un DiT pré-entraîné pour analyser les cartes d'attention inter-trames et extraire un signal de mouvement par patch appelé le Flux de Mouvement d'Attention (AMF). Nous guidons le processus de débruitage latent de manière basée sur l'optimisation, sans nécessiter d'entraînement, en optimisant les latents avec notre perte AMF pour générer des vidéos reproduisant le mouvement de la vidéo de référence. Nous appliquons également notre stratégie d'optimisation aux plongements positionnels du transformateur, ce qui nous confère un avantage en termes de capacités de transfert de mouvement sans apprentissage. Nous évaluons DiTFlow par rapport à des méthodes récemment publiées, surpassant toutes les autres selon plusieurs critères et évaluations humaines.

English

We propose DiTFlow, a method for transferring the motion of a reference video to a newly synthesized one, designed specifically for Diffusion Transformers (DiT). We first process the reference video with a pre-trained DiT to analyze cross-frame attention maps and extract a patch-wise motion signal called the Attention Motion Flow (AMF). We guide the latent denoising process in an optimization-based, training-free, manner by optimizing latents with our AMF loss to generate videos reproducing the motion of the reference one. We also apply our optimization strategy to transformer positional embeddings, granting us a boost in zero-shot motion transfer capabilities. We evaluate DiTFlow against recently published methods, outperforming all across multiple metrics and human evaluation.

Transfert de mouvement vidéo avec transformateurs de diffusion

Video Motion Transfer with Diffusion Transformers

papers.abstract

Support