FlowMo: ビデオ生成における一貫性のある動きのための分散ベースのフローガイダンス

FlowMo: Variance-Based Flow Guidance for Coherent Motion in Video Generation

June 1, 2025

著者: Ariel Shaulov, Itay Hazan, Lior Wolf, Hila Chefer

cs.AI

要旨

テキストからビデオを生成する拡散モデルは、モーションや物理法則、動的な相互作用といった時間的側面をモデル化する能力が限られていることで知られています。既存のアプローチでは、この制約を克服するためにモデルの再学習を行ったり、時間的一貫性を強制する外部の条件付け信号を導入したりしています。本研究では、追加の学習や補助的な入力なしに、事前学習済みモデルの予測から意味のある時間的表現を直接抽出できるかどうかを探求します。我々はFlowMoを提案します。これは、各拡散ステップにおいてモデル自身の予測のみを使用してモーションの一貫性を向上させる、新しい学習不要のガイダンス手法です。FlowMoはまず、連続するフレームに対応する潜在表現間の距離を測定することで、外見のバイアスを取り除いた時間的表現を導出します。これにより、モデルが予測する暗黙的な時間構造が浮き彫りになります。次に、時間次元にわたるパッチ単位の分散を測定することでモーションの一貫性を推定し、サンプリング中にこの分散を動的に減少させるようにモデルをガイドします。複数のテキストからビデオを生成するモデルを用いた広範な実験により、FlowMoが視覚品質やプロンプトとの整合性を損なうことなくモーションの一貫性を大幅に向上させることが実証されました。これにより、事前学習済みのビデオ拡散モデルの時間的忠実度を高めるための効果的なプラグアンドプレイソリューションが提供されます。

English

Text-to-video diffusion models are notoriously limited in their ability to model temporal aspects such as motion, physics, and dynamic interactions. Existing approaches address this limitation by retraining the model or introducing external conditioning signals to enforce temporal consistency. In this work, we explore whether a meaningful temporal representation can be extracted directly from the predictions of a pre-trained model without any additional training or auxiliary inputs. We introduce FlowMo, a novel training-free guidance method that enhances motion coherence using only the model's own predictions in each diffusion step. FlowMo first derives an appearance-debiased temporal representation by measuring the distance between latents corresponding to consecutive frames. This highlights the implicit temporal structure predicted by the model. It then estimates motion coherence by measuring the patch-wise variance across the temporal dimension and guides the model to reduce this variance dynamically during sampling. Extensive experiments across multiple text-to-video models demonstrate that FlowMo significantly improves motion coherence without sacrificing visual quality or prompt alignment, offering an effective plug-and-play solution for enhancing the temporal fidelity of pre-trained video diffusion models.