FlowMo: Variantie-gebaseerde Flow Guidance voor Samenhangende Beweging in Videogeneratie

FlowMo: Variance-Based Flow Guidance for Coherent Motion in Video Generation

June 1, 2025

Auteurs: Ariel Shaulov, Itay Hazan, Lior Wolf, Hila Chefer

cs.AI

Samenvatting

Text-to-video diffusiemodellen staan erom bekend beperkt te zijn in hun vermogen om temporele aspecten zoals beweging, fysica en dynamische interacties te modelleren. Bestaande benaderingen pakken deze beperking aan door het model opnieuw te trainen of externe conditioneringssignalen in te voeren om temporele consistentie af te dwingen. In dit werk onderzoeken we of een betekenisvolle temporele representatie direct kan worden geëxtraheerd uit de voorspellingen van een vooraf getraind model, zonder aanvullende training of hulpinvoeren. We introduceren FlowMo, een nieuwe trainingsvrije begeleidingsmethode die bewegingscoherentie verbetert door alleen gebruik te maken van de eigen voorspellingen van het model in elke diffusiestap. FlowMo leidt eerst een uiterlijk-ongebiaseerde temporele representatie af door de afstand te meten tussen latents die corresponderen met opeenvolgende frames. Dit benadrukt de impliciete temporele structuur die door het model wordt voorspeld. Vervolgens schat het de bewegingscoherentie door de patchgewijze variantie over de temporele dimensie te meten en begeleidt het model om deze variantie dynamisch te verminderen tijdens het bemonsteren. Uitgebreide experimenten met meerdere text-to-video modellen tonen aan dat FlowMo de bewegingscoherentie aanzienlijk verbetert zonder in te leveren op visuele kwaliteit of promptafstemming, wat een effectieve plug-and-play oplossing biedt voor het verbeteren van de temporele betrouwbaarheid van vooraf getrainde videodiffusiemodellen.

English

Text-to-video diffusion models are notoriously limited in their ability to model temporal aspects such as motion, physics, and dynamic interactions. Existing approaches address this limitation by retraining the model or introducing external conditioning signals to enforce temporal consistency. In this work, we explore whether a meaningful temporal representation can be extracted directly from the predictions of a pre-trained model without any additional training or auxiliary inputs. We introduce FlowMo, a novel training-free guidance method that enhances motion coherence using only the model's own predictions in each diffusion step. FlowMo first derives an appearance-debiased temporal representation by measuring the distance between latents corresponding to consecutive frames. This highlights the implicit temporal structure predicted by the model. It then estimates motion coherence by measuring the patch-wise variance across the temporal dimension and guides the model to reduce this variance dynamically during sampling. Extensive experiments across multiple text-to-video models demonstrate that FlowMo significantly improves motion coherence without sacrificing visual quality or prompt alignment, offering an effective plug-and-play solution for enhancing the temporal fidelity of pre-trained video diffusion models.