Reg-DPO: SFT-geregulariseerde Direct Preference Optimization met GT-Paren voor het Verbeteren van Videogeneratie

Reg-DPO: SFT-Regularized Direct Preference Optimization with GT-Pair for Improving Video Generation

November 3, 2025

Auteurs: Jie Du, Xinyu Gong, Qingshan Tan, Wen Li, Yangming Cheng, Weitao Wang, Chenlu Zhan, Suhui Wu, Hao Zhang, Jun Zhang

cs.AI

Samenvatting

Recente studies hebben Direct Preference Optimization (DPO) geïdentificeerd als een efficiënte en beloningsvrije benadering om de kwaliteit van videogeneratie te verbeteren. Bestaande methoden volgen echter grotendeels paradigma's uit het beelddomein en zijn voornamelijk ontwikkeld voor kleinschalige modellen (ongeveer 2B parameters), wat hun vermogen beperkt om de unieke uitdagingen van videotaken aan te pakken, zoals kostbare dataconstructie, onstabiele training en hoog geheugengebruik. Om deze beperkingen te overwinnen, introduceren we een GT-Pair die automatisch hoogwaardige voorkeursparen opstelt door echte video's als positieve voorbeelden en door het model gegenereerde video's als negatieve voorbeelden te gebruiken, waardoor externe annotatie overbodig wordt. Verder presenteren we Reg-DPO, dat de SFT-verliesfunctie integreert als regularisatieterm in het DPO-doel om de trainingsstabiliteit en generatiefideliteit te verbeteren. Daarnaast bereikt onze aanpak, door het FSDP-framework te combineren met meerdere geheugenoptimalisatietechnieken, een bijna drie keer hogere trainingscapaciteit dan bij gebruik van alleen FSDP. Uitgebreide experimenten met zowel I2V- als T2V-taken op meerdere datasets tonen aan dat onze methode consistent beter presteert dan bestaande benaderingen en superieure videogeneratiekwaliteit levert.

English

Recent studies have identified Direct Preference Optimization (DPO) as an efficient and reward-free approach to improving video generation quality. However, existing methods largely follow image-domain paradigms and are mainly developed on small-scale models (approximately 2B parameters), limiting their ability to address the unique challenges of video tasks, such as costly data construction, unstable training, and heavy memory consumption. To overcome these limitations, we introduce a GT-Pair that automatically builds high-quality preference pairs by using real videos as positives and model-generated videos as negatives, eliminating the need for any external annotation. We further present Reg-DPO, which incorporates the SFT loss as a regularization term into the DPO objective to enhance training stability and generation fidelity. Additionally, by combining the FSDP framework with multiple memory optimization techniques, our approach achieves nearly three times higher training capacity than using FSDP alone. Extensive experiments on both I2V and T2V tasks across multiple datasets demonstrate that our method consistently outperforms existing approaches, delivering superior video generation quality.