FlowMo: Varianzbasierte Flusssteuerung für kohärente Bewegung in der Videogenerierung

FlowMo: Variance-Based Flow Guidance for Coherent Motion in Video Generation

June 1, 2025

Autoren: Ariel Shaulov, Itay Hazan, Lior Wolf, Hila Chefer

cs.AI

Zusammenfassung

Text-to-Video-Diffusionsmodelle sind bekanntlich in ihrer Fähigkeit eingeschränkt, zeitliche Aspekte wie Bewegung, Physik und dynamische Interaktionen zu modellieren. Bestehende Ansätze adressieren diese Einschränkung, indem sie das Modell neu trainieren oder externe Konditionierungssignale einführen, um zeitliche Konsistenz zu erzwingen. In dieser Arbeit untersuchen wir, ob eine sinnvolle zeitliche Repräsentation direkt aus den Vorhersagen eines vortrainierten Modells extrahiert werden kann, ohne zusätzliches Training oder Hilfseingaben. Wir stellen FlowMo vor, eine neuartige, trainingsfreie Leitmethode, die die Bewegungskohärenz allein durch die eigenen Vorhersagen des Modells in jedem Diffusionsschritt verbessert. FlowMo leitet zunächst eine erscheinungsentlastete zeitliche Repräsentation ab, indem es den Abstand zwischen Latents, die aufeinanderfolgenden Frames entsprechen, misst. Dadurch wird die implizite zeitliche Struktur, die das Modell vorhersagt, hervorgehoben. Anschließend schätzt es die Bewegungskohärenz, indem es die patchweise Varianz über die zeitliche Dimension misst, und leitet das Modell an, diese Varianz während des Samplings dynamisch zu reduzieren. Umfangreiche Experimente mit mehreren Text-to-Video-Modellen zeigen, dass FlowMo die Bewegungskohärenz signifikant verbessert, ohne die visuelle Qualität oder die Prompt-Ausrichtung zu beeinträchtigen, und bietet somit eine effektive Plug-and-Play-Lösung zur Verbesserung der zeitlichen Treue vortrainierter Video-Diffusionsmodelle.

English

Text-to-video diffusion models are notoriously limited in their ability to model temporal aspects such as motion, physics, and dynamic interactions. Existing approaches address this limitation by retraining the model or introducing external conditioning signals to enforce temporal consistency. In this work, we explore whether a meaningful temporal representation can be extracted directly from the predictions of a pre-trained model without any additional training or auxiliary inputs. We introduce FlowMo, a novel training-free guidance method that enhances motion coherence using only the model's own predictions in each diffusion step. FlowMo first derives an appearance-debiased temporal representation by measuring the distance between latents corresponding to consecutive frames. This highlights the implicit temporal structure predicted by the model. It then estimates motion coherence by measuring the patch-wise variance across the temporal dimension and guides the model to reduce this variance dynamically during sampling. Extensive experiments across multiple text-to-video models demonstrate that FlowMo significantly improves motion coherence without sacrificing visual quality or prompt alignment, offering an effective plug-and-play solution for enhancing the temporal fidelity of pre-trained video diffusion models.