La Regularización Temporal Fortalece tu Generador de Videos

Temporal Regularization Makes Your Video Generator Stronger

March 19, 2025

Autores: Harold Haodong Chen, Haojian Huang, Xianfeng Wu, Yexin Liu, Yajing Bai, Wen-Jie Shu, Harry Yang, Ser-Nam Lim

cs.AI

Resumen

La calidad temporal es un aspecto crítico en la generación de videos, ya que garantiza movimientos consistentes y dinámicas realistas entre los fotogramas. Sin embargo, lograr una alta coherencia y diversidad temporal sigue siendo un desafío. En este trabajo, exploramos por primera vez la ampliación temporal en la generación de videos e introducimos FluxFlow para una investigación inicial, una estrategia diseñada para mejorar la calidad temporal. Operando a nivel de datos, FluxFlow aplica perturbaciones temporales controladas sin requerir modificaciones arquitectónicas. Experimentos exhaustivos en los benchmarks UCF-101 y VBench demuestran que FluxFlow mejora significativamente la coherencia y diversidad temporal en varios modelos de generación de videos, incluyendo arquitecturas basadas en U-Net, DiT y AR, mientras preserva la fidelidad espacial. Estos hallazgos resaltan el potencial de la ampliación temporal como un enfoque simple pero efectivo para avanzar en la calidad de la generación de videos.

English

Temporal quality is a critical aspect of video generation, as it ensures consistent motion and realistic dynamics across frames. However, achieving high temporal coherence and diversity remains challenging. In this work, we explore temporal augmentation in video generation for the first time, and introduce FluxFlow for initial investigation, a strategy designed to enhance temporal quality. Operating at the data level, FluxFlow applies controlled temporal perturbations without requiring architectural modifications. Extensive experiments on UCF-101 and VBench benchmarks demonstrate that FluxFlow significantly improves temporal coherence and diversity across various video generation models, including U-Net, DiT, and AR-based architectures, while preserving spatial fidelity. These findings highlight the potential of temporal augmentation as a simple yet effective approach to advancing video generation quality.