Video Bewegingsoverdracht met Diffusie Transformers
Video Motion Transfer with Diffusion Transformers
December 10, 2024
Auteurs: Alexander Pondaven, Aliaksandr Siarohin, Sergey Tulyakov, Philip Torr, Fabio Pizzati
cs.AI
Samenvatting
Wij stellen DiTFlow voor, een methode voor het overbrengen van de beweging van een referentievideo naar een nieuw gesynthetiseerde video, specifiek ontworpen voor Diffusion Transformers (DiT). We verwerken eerst de referentievideo met een voorgeleerde DiT om cross-frame aandachtskaarten te analyseren en een patchgewijze bewegingssignaal genaamd de Aandachtsbewegingsstroom (AMF) te extraheren. We begeleiden het latente denoiseringsproces op basis van optimalisatie, zonder training, door latenten te optimaliseren met onze AMF-verliesfunctie om video's te genereren die de beweging van de referentievideo reproduceren. We passen onze optimalisatiestrategie ook toe op transformer positionele embeddings, wat ons een boost geeft in de mogelijkheden voor zero-shot bewegingsoverdracht. We evalueren DiTFlow ten opzichte van recent gepubliceerde methoden en presteren beter op meerdere metingen en menselijke evaluaties.
English
We propose DiTFlow, a method for transferring the motion of a reference video
to a newly synthesized one, designed specifically for Diffusion Transformers
(DiT). We first process the reference video with a pre-trained DiT to analyze
cross-frame attention maps and extract a patch-wise motion signal called the
Attention Motion Flow (AMF). We guide the latent denoising process in an
optimization-based, training-free, manner by optimizing latents with our AMF
loss to generate videos reproducing the motion of the reference one. We also
apply our optimization strategy to transformer positional embeddings, granting
us a boost in zero-shot motion transfer capabilities. We evaluate DiTFlow
against recently published methods, outperforming all across multiple metrics
and human evaluation.