FlowMo: Guida al Flusso Basata sulla Varianza per Movimenti Coerenti nella Generazione di Video

FlowMo: Variance-Based Flow Guidance for Coherent Motion in Video Generation

June 1, 2025

Autori: Ariel Shaulov, Itay Hazan, Lior Wolf, Hila Chefer

cs.AI

Abstract

I modelli di diffusione text-to-video sono notoriamente limitati nella loro capacità di modellare aspetti temporali come il movimento, la fisica e le interazioni dinamiche. Gli approcci esistenti affrontano questa limitazione riaddestrando il modello o introducendo segnali di condizionamento esterni per imporre la coerenza temporale. In questo lavoro, esploriamo se una rappresentazione temporale significativa possa essere estratta direttamente dalle previsioni di un modello pre-addestrato senza ulteriori addestramenti o input ausiliari. Introduciamo FlowMo, un nuovo metodo di guida senza addestramento che migliora la coerenza del movimento utilizzando solo le previsioni del modello stesso in ogni passo di diffusione. FlowMo deriva prima una rappresentazione temporale bilanciata rispetto all'aspetto misurando la distanza tra i latenti corrispondenti a frame consecutivi. Questo evidenzia la struttura temporale implicita prevista dal modello. Successivamente, stima la coerenza del movimento misurando la varianza a livello di patch lungo la dimensione temporale e guida il modello a ridurre dinamicamente questa varianza durante il campionamento. Esperimenti estesi su più modelli text-to-video dimostrano che FlowMo migliora significativamente la coerenza del movimento senza sacrificare la qualità visiva o l'allineamento con il prompt, offrendo una soluzione plug-and-play efficace per migliorare la fedeltà temporale dei modelli di diffusione video pre-addestrati.

English

Text-to-video diffusion models are notoriously limited in their ability to model temporal aspects such as motion, physics, and dynamic interactions. Existing approaches address this limitation by retraining the model or introducing external conditioning signals to enforce temporal consistency. In this work, we explore whether a meaningful temporal representation can be extracted directly from the predictions of a pre-trained model without any additional training or auxiliary inputs. We introduce FlowMo, a novel training-free guidance method that enhances motion coherence using only the model's own predictions in each diffusion step. FlowMo first derives an appearance-debiased temporal representation by measuring the distance between latents corresponding to consecutive frames. This highlights the implicit temporal structure predicted by the model. It then estimates motion coherence by measuring the patch-wise variance across the temporal dimension and guides the model to reduce this variance dynamically during sampling. Extensive experiments across multiple text-to-video models demonstrate that FlowMo significantly improves motion coherence without sacrificing visual quality or prompt alignment, offering an effective plug-and-play solution for enhancing the temporal fidelity of pre-trained video diffusion models.