Reg-DPO: SFT-regularisierte Direct Preference Optimization mit GT-Paaren zur Verbesserung der Videogenerierung

Reg-DPO: SFT-Regularized Direct Preference Optimization with GT-Pair for Improving Video Generation

November 3, 2025

papers.authors: Jie Du, Xinyu Gong, Qingshan Tan, Wen Li, Yangming Cheng, Weitao Wang, Chenlu Zhan, Suhui Wu, Hao Zhang, Jun Zhang

cs.AI

papers.abstract

Aktuelle Studien haben Direct Preference Optimization (DPO) als einen effizienten und belohnungsfreien Ansatz zur Verbesserung der Videoqualität identifiziert. Bisherige Methoden folgen jedoch weitgehend den Paradigmen aus dem Bildbereich und wurden hauptsächlich für kleinere Modelle (etwa 2 Mrd. Parameter) entwickelt, was ihre Fähigkeit einschränkt, die spezifischen Herausforderungen von Videoaufgaben zu bewältigen, wie etwa kostspielige Datenerstellung, instabiles Training und hohen Speicherverbrauch. Um diese Einschränkungen zu überwinden, führen wir ein GT-Pair ein, das automatisch hochwertige Präferenzpaare erstellt, indem echte Videos als Positive und modellgenerierte Videos als Negative verwendet werden, wodurch jegliche externe Annotation entfällt. Wir stellen weiterhin Reg-DPO vor, das den SFT-Verlust als Regularisierungsterm in das DPO-Ziel integriert, um die Trainingsstabilität und Erzeugungstreue zu verbessern. Durch die Kombination des FSDP-Frameworks mit mehreren Speicheroptimierungstechniken erreicht unser Ansatz zudem eine nahezu dreifach höhere Trainingskapazität als die alleinige Verwendung von FSDP. Umfangreiche Experimente zu sowohl I2V- als auch T2V-Aufgaben über mehrere Datensätze hinweg belegen, dass unsere Methode bestehende Ansätze konsequent übertrifft und eine überlegene Videogenerierungsqualität liefert.

English

Recent studies have identified Direct Preference Optimization (DPO) as an efficient and reward-free approach to improving video generation quality. However, existing methods largely follow image-domain paradigms and are mainly developed on small-scale models (approximately 2B parameters), limiting their ability to address the unique challenges of video tasks, such as costly data construction, unstable training, and heavy memory consumption. To overcome these limitations, we introduce a GT-Pair that automatically builds high-quality preference pairs by using real videos as positives and model-generated videos as negatives, eliminating the need for any external annotation. We further present Reg-DPO, which incorporates the SFT loss as a regularization term into the DPO objective to enhance training stability and generation fidelity. Additionally, by combining the FSDP framework with multiple memory optimization techniques, our approach achieves nearly three times higher training capacity than using FSDP alone. Extensive experiments on both I2V and T2V tasks across multiple datasets demonstrate that our method consistently outperforms existing approaches, delivering superior video generation quality.