SePPO: Semi-Beleid Voorkeur Optimalisatie voor Diffusie Alignering

SePPO: Semi-Policy Preference Optimization for Diffusion Alignment

October 7, 2024

Auteurs: Daoan Zhang, Guangchen Lan, Dong-Jun Han, Wenlin Yao, Xiaoman Pan, Hongming Zhang, Mingxiao Li, Pengcheng Chen, Yu Dong, Christopher Brinton, Jiebo Luo

cs.AI

Samenvatting

Reinforcement learning from human feedback (RLHF) methoden worden steeds vaker gebruikt om diffusiemodellen (DM's) voor visuele generatie te verfijnen. Echter, veelgebruikte on-policy strategieën worden beperkt door de generalisatiecapaciteit van het beloningsmodel, terwijl off-policy benaderingen grote hoeveelheden moeilijk te verkrijgen menselijk geannoteerde data vereisen, met name bij visuele generatietaken. Om de beperkingen van zowel on- als off-policy RLHF aan te pakken, stellen we een voorkeurs optimalisatiemethode voor die DM's afstemt op voorkeuren zonder te vertrouwen op beloningsmodellen of gepaarde menselijk geannoteerde data. Specifiek introduceren we een Semi-Policy Voorkeurs Optimalisatie (SePPO) methode. SePPO maakt gebruik van eerdere checkpoints als referentiemodellen en gebruikt deze om on-policy referentievoorbeelden te genereren, die "verliezende afbeeldingen" in voorkeursparen vervangen. Deze aanpak stelt ons in staat om te optimaliseren met behulp van alleen off-policy "winnende afbeeldingen". Bovendien ontwerpen we een strategie voor de selectie van referentiemodellen die de verkenning in de beleidsruimte uitbreidt. Opmerkelijk is dat we referentievoorbeelden niet eenvoudigweg behandelen als negatieve voorbeelden voor het leren. In plaats daarvan ontwerpen we een ankergebaseerd criterium om te beoordelen of de referentievoorbeelden waarschijnlijk winnende of verliezende afbeeldingen zijn, waardoor het model selectief kan leren van de gegenereerde referentievoorbeelden. Deze aanpak vermindert prestatievermindering veroorzaakt door onzekerheid in de kwaliteit van referentievoorbeelden. We valideren SePPO op zowel tekst-naar-afbeelding als tekst-naar-video benchmarks. SePPO overtreft alle eerdere benaderingen op de tekst-naar-afbeelding benchmarks en toont ook uitstekende prestaties op de tekst-naar-video benchmarks. De code zal worden vrijgegeven op https://github.com/DwanZhang-AI/SePPO.

English

Reinforcement learning from human feedback (RLHF) methods are emerging as a way to fine-tune diffusion models (DMs) for visual generation. However, commonly used on-policy strategies are limited by the generalization capability of the reward model, while off-policy approaches require large amounts of difficult-to-obtain paired human-annotated data, particularly in visual generation tasks. To address the limitations of both on- and off-policy RLHF, we propose a preference optimization method that aligns DMs with preferences without relying on reward models or paired human-annotated data. Specifically, we introduce a Semi-Policy Preference Optimization (SePPO) method. SePPO leverages previous checkpoints as reference models while using them to generate on-policy reference samples, which replace "losing images" in preference pairs. This approach allows us to optimize using only off-policy "winning images." Furthermore, we design a strategy for reference model selection that expands the exploration in the policy space. Notably, we do not simply treat reference samples as negative examples for learning. Instead, we design an anchor-based criterion to assess whether the reference samples are likely to be winning or losing images, allowing the model to selectively learn from the generated reference samples. This approach mitigates performance degradation caused by the uncertainty in reference sample quality. We validate SePPO across both text-to-image and text-to-video benchmarks. SePPO surpasses all previous approaches on the text-to-image benchmarks and also demonstrates outstanding performance on the text-to-video benchmarks. Code will be released in https://github.com/DwanZhang-AI/SePPO.