SePPO : Optimisation semi-politique des préférences pour l'alignement de la diffusion

SePPO: Semi-Policy Preference Optimization for Diffusion Alignment

October 7, 2024

Auteurs: Daoan Zhang, Guangchen Lan, Dong-Jun Han, Wenlin Yao, Xiaoman Pan, Hongming Zhang, Mingxiao Li, Pengcheng Chen, Yu Dong, Christopher Brinton, Jiebo Luo

cs.AI

Résumé

Les méthodes d'apprentissage par renforcement à partir des retours humains (RLHF) émergent comme un moyen d'affiner les modèles de diffusion (DMs) pour la génération visuelle. Cependant, les stratégies on-policy couramment utilisées sont limitées par la capacité de généralisation du modèle de récompense, tandis que les approches off-policy nécessitent de grandes quantités de données appariées annotées par des humains, particulièrement dans les tâches de génération visuelle difficiles à obtenir. Pour pallier les limitations des approches RLHF on-policy et off-policy, nous proposons une méthode d'optimisation des préférences qui aligne les DMs avec les préférences sans recourir aux modèles de récompense ou aux données appariées annotées par des humains. Plus précisément, nous introduisons une méthode d'optimisation des préférences Semi-Policy Preference Optimization (SePPO). SePPO tire parti des points de contrôle précédents en tant que modèles de référence tout en les utilisant pour générer des échantillons de référence on-policy, qui remplacent les "images perdantes" dans les paires de préférences. Cette approche nous permet d'optimiser en utilisant uniquement des "images gagnantes" off-policy. De plus, nous concevons une stratégie de sélection de modèle de référence qui élargit l'exploration dans l'espace des politiques. Notamment, nous ne traitons pas simplement les échantillons de référence comme des exemples négatifs pour l'apprentissage. Au lieu de cela, nous concevons un critère basé sur des ancres pour évaluer si les échantillons de référence sont susceptibles d'être des images gagnantes ou perdantes, permettant au modèle d'apprendre sélectivement à partir des échantillons de référence générés. Cette approche atténue la dégradation des performances causée par l'incertitude de la qualité des échantillons de référence. Nous validons SePPO à la fois sur des référentiels de texte vers image et de texte vers vidéo. SePPO dépasse toutes les approches précédentes sur les référentiels de texte vers image et démontre également des performances exceptionnelles sur les référentiels de texte vers vidéo. Le code sera publié sur https://github.com/DwanZhang-AI/SePPO.

English

Reinforcement learning from human feedback (RLHF) methods are emerging as a way to fine-tune diffusion models (DMs) for visual generation. However, commonly used on-policy strategies are limited by the generalization capability of the reward model, while off-policy approaches require large amounts of difficult-to-obtain paired human-annotated data, particularly in visual generation tasks. To address the limitations of both on- and off-policy RLHF, we propose a preference optimization method that aligns DMs with preferences without relying on reward models or paired human-annotated data. Specifically, we introduce a Semi-Policy Preference Optimization (SePPO) method. SePPO leverages previous checkpoints as reference models while using them to generate on-policy reference samples, which replace "losing images" in preference pairs. This approach allows us to optimize using only off-policy "winning images." Furthermore, we design a strategy for reference model selection that expands the exploration in the policy space. Notably, we do not simply treat reference samples as negative examples for learning. Instead, we design an anchor-based criterion to assess whether the reference samples are likely to be winning or losing images, allowing the model to selectively learn from the generated reference samples. This approach mitigates performance degradation caused by the uncertainty in reference sample quality. We validate SePPO across both text-to-image and text-to-video benchmarks. SePPO surpasses all previous approaches on the text-to-image benchmarks and also demonstrates outstanding performance on the text-to-video benchmarks. Code will be released in https://github.com/DwanZhang-AI/SePPO.