Video-Bewegungsübertragung mit Diffusions-Transformern

Video Motion Transfer with Diffusion Transformers

December 10, 2024

Autoren: Alexander Pondaven, Aliaksandr Siarohin, Sergey Tulyakov, Philip Torr, Fabio Pizzati

cs.AI

Zusammenfassung

Wir schlagen DiTFlow vor, eine Methode zur Übertragung der Bewegung eines Referenzvideos auf ein neu synthetisiertes Video, das speziell für Diffusion Transformers (DiT) entwickelt wurde. Zunächst verarbeiten wir das Referenzvideo mit einem vorab trainierten DiT, um Querframe-Aufmerksamkeitskarten zu analysieren und ein patchweises Bewegungssignal namens Attention Motion Flow (AMF) zu extrahieren. Wir führen den latente Rauschunterdrückungsprozess auf optimierungsbasierter, trainingsfreier Weise durch, indem wir Latente mit unserem AMF-Verlust optimieren, um Videos zu generieren, die die Bewegung des Referenzvideos reproduzieren. Wir wenden unsere Optimierungsstrategie auch auf Transformer-Positionseinbettungen an, was uns einen Schub in den Fähigkeiten zur bewegungslosen Übertragung verleiht. Wir evaluieren DiTFlow im Vergleich zu kürzlich veröffentlichten Methoden und übertreffen diese in mehreren Metriken und menschlichen Bewertungen.

English

We propose DiTFlow, a method for transferring the motion of a reference video to a newly synthesized one, designed specifically for Diffusion Transformers (DiT). We first process the reference video with a pre-trained DiT to analyze cross-frame attention maps and extract a patch-wise motion signal called the Attention Motion Flow (AMF). We guide the latent denoising process in an optimization-based, training-free, manner by optimizing latents with our AMF loss to generate videos reproducing the motion of the reference one. We also apply our optimization strategy to transformer positional embeddings, granting us a boost in zero-shot motion transfer capabilities. We evaluate DiTFlow against recently published methods, outperforming all across multiple metrics and human evaluation.