Reg-DPO: Otimização Direta de Preferências Regularizada por SFT com Par GT para Melhoria da Geração de Vídeo

Reg-DPO: SFT-Regularized Direct Preference Optimization with GT-Pair for Improving Video Generation

November 3, 2025

Autores: Jie Du, Xinyu Gong, Qingshan Tan, Wen Li, Yangming Cheng, Weitao Wang, Chenlu Zhan, Suhui Wu, Hao Zhang, Jun Zhang

cs.AI

Resumo

Estudos recentes identificaram a Otimização Direta de Preferências (DPO) como uma abordagem eficiente e livre de recompensas para melhorar a qualidade da geração de vídeos. No entanto, os métodos existentes seguem amplamente paradigmas do domínio de imagem e foram desenvolvidos principalmente em modelos de pequena escala (aproximadamente 2 bilhões de parâmetros), limitando sua capacidade de abordar os desafios únicos das tarefas de vídeo, como a construção onerosa de dados, o treinamento instável e o alto consumo de memória. Para superar essas limitações, introduzimos um GT-Pair que constrói automaticamente pares de preferência de alta qualidade usando vídeos reais como positivos e vídeos gerados por modelos como negativos, eliminando a necessidade de qualquer anotação externa. Apresentamos ainda o Reg-DPO, que incorpora a perda SFT como termo de regularização no objetivo DPO para melhorar a estabilidade do treinamento e a fidelidade da geração. Adicionalmente, ao combinar a estrutura FSDP com múltiplas técnicas de otimização de memória, nossa abordagem alcança uma capacidade de treinamento quase três vezes maior do que usando apenas FSDP. Experimentos extensivos em tarefas de I2V e T2V em múltiplos conjuntos de dados demonstram que nosso método supera consistentemente as abordagens existentes, proporcionando qualidade superior na geração de vídeos.

English

Recent studies have identified Direct Preference Optimization (DPO) as an efficient and reward-free approach to improving video generation quality. However, existing methods largely follow image-domain paradigms and are mainly developed on small-scale models (approximately 2B parameters), limiting their ability to address the unique challenges of video tasks, such as costly data construction, unstable training, and heavy memory consumption. To overcome these limitations, we introduce a GT-Pair that automatically builds high-quality preference pairs by using real videos as positives and model-generated videos as negatives, eliminating the need for any external annotation. We further present Reg-DPO, which incorporates the SFT loss as a regularization term into the DPO objective to enhance training stability and generation fidelity. Additionally, by combining the FSDP framework with multiple memory optimization techniques, our approach achieves nearly three times higher training capacity than using FSDP alone. Extensive experiments on both I2V and T2V tasks across multiple datasets demonstrate that our method consistently outperforms existing approaches, delivering superior video generation quality.