Tijdelijke Regularisatie Maakt Uw Videogenerator Sterker

Temporal Regularization Makes Your Video Generator Stronger

March 19, 2025

Auteurs: Harold Haodong Chen, Haojian Huang, Xianfeng Wu, Yexin Liu, Yajing Bai, Wen-Jie Shu, Harry Yang, Ser-Nam Lim

cs.AI

Samenvatting

Tijdelijke kwaliteit is een cruciaal aspect van videogeneratie, omdat het zorgt voor consistente beweging en realistische dynamiek tussen frames. Het bereiken van hoge temporele coherentie en diversiteit blijft echter een uitdaging. In dit werk onderzoeken we voor het eerst temporele augmentatie in videogeneratie en introduceren we FluxFlow als een eerste verkenning, een strategie die is ontworpen om de temporele kwaliteit te verbeteren. FluxFlow werkt op dataniveau en past gecontroleerde temporele verstoringen toe zonder dat architectuurwijzigingen nodig zijn. Uitgebreide experimenten op de UCF-101 en VBench benchmarks tonen aan dat FluxFlow de temporele coherentie en diversiteit aanzienlijk verbetert bij verschillende videogeneratiemodellen, waaronder U-Net, DiT en AR-gebaseerde architecturen, terwijl de ruimtelijke nauwkeurigheid behouden blijft. Deze bevindingen benadrukken het potentieel van temporele augmentatie als een eenvoudige maar effectieve aanpak om de kwaliteit van videogeneratie te verbeteren.

English

Temporal quality is a critical aspect of video generation, as it ensures consistent motion and realistic dynamics across frames. However, achieving high temporal coherence and diversity remains challenging. In this work, we explore temporal augmentation in video generation for the first time, and introduce FluxFlow for initial investigation, a strategy designed to enhance temporal quality. Operating at the data level, FluxFlow applies controlled temporal perturbations without requiring architectural modifications. Extensive experiments on UCF-101 and VBench benchmarks demonstrate that FluxFlow significantly improves temporal coherence and diversity across various video generation models, including U-Net, DiT, and AR-based architectures, while preserving spatial fidelity. These findings highlight the potential of temporal augmentation as a simple yet effective approach to advancing video generation quality.