時間的正則化がビデオ生成器をより強力にする

Temporal Regularization Makes Your Video Generator Stronger

March 19, 2025

著者: Harold Haodong Chen, Haojian Huang, Xianfeng Wu, Yexin Liu, Yajing Bai, Wen-Jie Shu, Harry Yang, Ser-Nam Lim

cs.AI

要旨

時間的品質はビデオ生成において重要な側面であり、フレーム間の一貫した動きと現実的なダイナミクスを保証します。しかし、高い時間的コヒーレンスと多様性を達成することは依然として困難です。本研究では、初めてビデオ生成における時間的拡張を探求し、時間的品質を向上させるための戦略としてFluxFlowを導入します。データレベルで動作するFluxFlowは、アーキテクチャの変更を必要とせずに制御された時間的摂動を適用します。UCF-101およびVBenchベンチマークでの広範な実験により、FluxFlowがU-Net、DiT、ARベースのアーキテクチャを含む様々なビデオ生成モデルにおいて、空間的忠実度を保ちつつ時間的コヒーレンスと多様性を大幅に向上させることが実証されました。これらの発見は、時間的拡張がビデオ生成品質を向上させるためのシンプルかつ効果的なアプローチとしての可能性を強調しています。

English

Temporal quality is a critical aspect of video generation, as it ensures consistent motion and realistic dynamics across frames. However, achieving high temporal coherence and diversity remains challenging. In this work, we explore temporal augmentation in video generation for the first time, and introduce FluxFlow for initial investigation, a strategy designed to enhance temporal quality. Operating at the data level, FluxFlow applies controlled temporal perturbations without requiring architectural modifications. Extensive experiments on UCF-101 and VBench benchmarks demonstrate that FluxFlow significantly improves temporal coherence and diversity across various video generation models, including U-Net, DiT, and AR-based architectures, while preserving spatial fidelity. These findings highlight the potential of temporal augmentation as a simple yet effective approach to advancing video generation quality.