La regolarizzazione temporale rende più robusto il generatore di video

Temporal Regularization Makes Your Video Generator Stronger

March 19, 2025

Autori: Harold Haodong Chen, Haojian Huang, Xianfeng Wu, Yexin Liu, Yajing Bai, Wen-Jie Shu, Harry Yang, Ser-Nam Lim

cs.AI

Abstract

La qualità temporale è un aspetto cruciale nella generazione di video, poiché garantisce una coerenza di movimento e dinamiche realistiche tra i fotogrammi. Tuttavia, raggiungere un'elevata coerenza e diversità temporale rimane una sfida. In questo lavoro, esploriamo per la prima volta l'aumentazione temporale nella generazione di video e introduciamo FluxFlow per un'indagine iniziale, una strategia progettata per migliorare la qualità temporale. Operando a livello di dati, FluxFlow applica perturbazioni temporali controllate senza richiedere modifiche architetturali. Esperimenti estesi sui benchmark UCF-101 e VBench dimostrano che FluxFlow migliora significativamente la coerenza e la diversità temporale in vari modelli di generazione video, tra cui U-Net, DiT e architetture basate su AR, preservando al contempo la fedeltà spaziale. Questi risultati evidenziano il potenziale dell'aumentazione temporale come approccio semplice ma efficace per migliorare la qualità della generazione video.

English

Temporal quality is a critical aspect of video generation, as it ensures consistent motion and realistic dynamics across frames. However, achieving high temporal coherence and diversity remains challenging. In this work, we explore temporal augmentation in video generation for the first time, and introduce FluxFlow for initial investigation, a strategy designed to enhance temporal quality. Operating at the data level, FluxFlow applies controlled temporal perturbations without requiring architectural modifications. Extensive experiments on UCF-101 and VBench benchmarks demonstrate that FluxFlow significantly improves temporal coherence and diversity across various video generation models, including U-Net, DiT, and AR-based architectures, while preserving spatial fidelity. These findings highlight the potential of temporal augmentation as a simple yet effective approach to advancing video generation quality.