Временная регуляризация делает ваш видеогенератор мощнее

Temporal Regularization Makes Your Video Generator Stronger

March 19, 2025

Авторы: Harold Haodong Chen, Haojian Huang, Xianfeng Wu, Yexin Liu, Yajing Bai, Wen-Jie Shu, Harry Yang, Ser-Nam Lim

cs.AI

Аннотация

Временное качество является критически важным аспектом генерации видео, так как оно обеспечивает согласованное движение и реалистичную динамику между кадрами. Однако достижение высокой временной согласованности и разнообразия остается сложной задачей. В данной работе мы впервые исследуем временное аугментирование в генерации видео и представляем FluxFlow для начального исследования — стратегию, разработанную для улучшения временного качества. Работая на уровне данных, FluxFlow применяет контролируемые временные возмущения без необходимости модификации архитектуры. Многочисленные эксперименты на бенчмарках UCF-101 и VBench демонстрируют, что FluxFlow значительно улучшает временную согласованность и разнообразие в различных моделях генерации видео, включая U-Net, DiT и архитектуры на основе авторегрессии, сохраняя при этом пространственную точность. Эти результаты подчеркивают потенциал временного аугментирования как простого, но эффективного подхода для повышения качества генерации видео.

English

Temporal quality is a critical aspect of video generation, as it ensures consistent motion and realistic dynamics across frames. However, achieving high temporal coherence and diversity remains challenging. In this work, we explore temporal augmentation in video generation for the first time, and introduce FluxFlow for initial investigation, a strategy designed to enhance temporal quality. Operating at the data level, FluxFlow applies controlled temporal perturbations without requiring architectural modifications. Extensive experiments on UCF-101 and VBench benchmarks demonstrate that FluxFlow significantly improves temporal coherence and diversity across various video generation models, including U-Net, DiT, and AR-based architectures, while preserving spatial fidelity. These findings highlight the potential of temporal augmentation as a simple yet effective approach to advancing video generation quality.