Transferencia de Movimiento de Video con Transformadores de Difusión

Video Motion Transfer with Diffusion Transformers

December 10, 2024

Autores: Alexander Pondaven, Aliaksandr Siarohin, Sergey Tulyakov, Philip Torr, Fabio Pizzati

cs.AI

Resumen

Proponemos DiTFlow, un método para transferir el movimiento de un video de referencia a uno recién sintetizado, diseñado específicamente para Transformadores de Difusión (DiT). Primero procesamos el video de referencia con un DiT pre-entrenado para analizar mapas de atención entre fotogramas y extraer una señal de movimiento por parches llamada Flujo de Movimiento de Atención (FMA). Guiamos el proceso de eliminación de ruido latente de manera basada en optimización, sin necesidad de entrenamiento, optimizando latentes con nuestra pérdida de FMA para generar videos que reproducen el movimiento del video de referencia. También aplicamos nuestra estrategia de optimización a incrustaciones posicionales del transformador, lo que nos otorga un impulso en las capacidades de transferencia de movimiento sin necesidad de entrenamiento. Evaluamos DiTFlow frente a métodos recientemente publicados, superando a todos en múltiples métricas y evaluación humana.

English

We propose DiTFlow, a method for transferring the motion of a reference video to a newly synthesized one, designed specifically for Diffusion Transformers (DiT). We first process the reference video with a pre-trained DiT to analyze cross-frame attention maps and extract a patch-wise motion signal called the Attention Motion Flow (AMF). We guide the latent denoising process in an optimization-based, training-free, manner by optimizing latents with our AMF loss to generate videos reproducing the motion of the reference one. We also apply our optimization strategy to transformer positional embeddings, granting us a boost in zero-shot motion transfer capabilities. We evaluate DiTFlow against recently published methods, outperforming all across multiple metrics and human evaluation.