FlowMo: Guía de Flujo Basada en Varianza para Movimiento Coherente en la Generación de Videos

FlowMo: Variance-Based Flow Guidance for Coherent Motion in Video Generation

June 1, 2025

Autores: Ariel Shaulov, Itay Hazan, Lior Wolf, Hila Chefer

cs.AI

Resumen

Los modelos de difusión de texto a video son notoriamente limitados en su capacidad para modelar aspectos temporales como el movimiento, la física y las interacciones dinámicas. Los enfoques existentes abordan esta limitación reentrenando el modelo o introduciendo señales de condicionamiento externas para imponer consistencia temporal. En este trabajo, exploramos si es posible extraer una representación temporal significativa directamente de las predicciones de un modelo preentrenado, sin necesidad de entrenamiento adicional o entradas auxiliares. Presentamos FlowMo, un novedoso método de guía sin entrenamiento que mejora la coherencia del movimiento utilizando únicamente las propias predicciones del modelo en cada paso de difusión. FlowMo primero deriva una representación temporal libre de sesgos de apariencia midiendo la distancia entre los latentes correspondientes a fotogramas consecutivos. Esto resalta la estructura temporal implícita predicha por el modelo. Luego, estima la coherencia del movimiento midiendo la varianza por parches a lo largo de la dimensión temporal y guía al modelo para reducir esta varianza dinámicamente durante el muestreo. Experimentos extensos en múltiples modelos de texto a video demuestran que FlowMo mejora significativamente la coherencia del movimiento sin sacrificar la calidad visual o la alineación con el texto, ofreciendo una solución efectiva de tipo plug-and-play para mejorar la fidelidad temporal de los modelos de difusión de video preentrenados.

English

Text-to-video diffusion models are notoriously limited in their ability to model temporal aspects such as motion, physics, and dynamic interactions. Existing approaches address this limitation by retraining the model or introducing external conditioning signals to enforce temporal consistency. In this work, we explore whether a meaningful temporal representation can be extracted directly from the predictions of a pre-trained model without any additional training or auxiliary inputs. We introduce FlowMo, a novel training-free guidance method that enhances motion coherence using only the model's own predictions in each diffusion step. FlowMo first derives an appearance-debiased temporal representation by measuring the distance between latents corresponding to consecutive frames. This highlights the implicit temporal structure predicted by the model. It then estimates motion coherence by measuring the patch-wise variance across the temporal dimension and guides the model to reduce this variance dynamically during sampling. Extensive experiments across multiple text-to-video models demonstrate that FlowMo significantly improves motion coherence without sacrificing visual quality or prompt alignment, offering an effective plug-and-play solution for enhancing the temporal fidelity of pre-trained video diffusion models.