Reg-DPO: SFT-регуляризованная оптимизация прямых предпочтений с GT-парами для улучшения генерации видео

Reg-DPO: SFT-Regularized Direct Preference Optimization with GT-Pair for Improving Video Generation

November 3, 2025

Авторы: Jie Du, Xinyu Gong, Qingshan Tan, Wen Li, Yangming Cheng, Weitao Wang, Chenlu Zhan, Suhui Wu, Hao Zhang, Jun Zhang

cs.AI

Аннотация

Недавние исследования определили прямой оптимизацию предпочтений (DPO) как эффективный и безревардный подход к повышению качества генерации видео. Однако существующие методы в основном следуют парадигмам из области изображений и разработаны для моделей малого масштаба (приблизительно 2 млрд параметров), что ограничивает их способность решать уникальные задачи видео, такие как дорогостоящее построение данных, нестабильность обучения и высокое потребление памяти. Для преодоления этих ограничений мы представляем GT-Pair, который автоматически строит высококачественные пары предпочтений, используя реальные видео в качестве позитивных примеров, а сгенерированные моделью видео — в качестве негативных, устраняя необходимость во внешней аннотации. Мы также представляем Reg-DPO, который включает потерю SFT в качестве регуляризатора в цель DPO для повышения стабильности обучения и достоверности генерации. Кроме того, благодаря сочетанию框架 FSDP с несколькими методами оптимизации памяти наш подход достигает почти втрое большей пропускной способности обучения по сравнению с использованием только FSDP. Многочисленные эксперименты по задачам I2V и T2V на различных наборах данных демонстрируют, что наш метод стабильно превосходит существующие подходы, обеспечивая превосходное качество генерации видео.

English

Recent studies have identified Direct Preference Optimization (DPO) as an efficient and reward-free approach to improving video generation quality. However, existing methods largely follow image-domain paradigms and are mainly developed on small-scale models (approximately 2B parameters), limiting their ability to address the unique challenges of video tasks, such as costly data construction, unstable training, and heavy memory consumption. To overcome these limitations, we introduce a GT-Pair that automatically builds high-quality preference pairs by using real videos as positives and model-generated videos as negatives, eliminating the need for any external annotation. We further present Reg-DPO, which incorporates the SFT loss as a regularization term into the DPO objective to enhance training stability and generation fidelity. Additionally, by combining the FSDP framework with multiple memory optimization techniques, our approach achieves nearly three times higher training capacity than using FSDP alone. Extensive experiments on both I2V and T2V tasks across multiple datasets demonstrate that our method consistently outperforms existing approaches, delivering superior video generation quality.