SePPO: Halb-Policy-Präferenzoptimierung für Diffusionsausrichtung

SePPO: Semi-Policy Preference Optimization for Diffusion Alignment

October 7, 2024

Autoren: Daoan Zhang, Guangchen Lan, Dong-Jun Han, Wenlin Yao, Xiaoman Pan, Hongming Zhang, Mingxiao Li, Pengcheng Chen, Yu Dong, Christopher Brinton, Jiebo Luo

cs.AI

Zusammenfassung

Methoden des Verstärkungslernens aus menschlichem Feedback (RLHF) werden als Möglichkeit zur Feinabstimmung von Diffusionsmodellen (DMs) für die visuelle Generierung immer wichtiger. Allerdings sind üblicherweise verwendete On-Policy-Strategien durch die Generalisierungsfähigkeit des Belohnungsmodells begrenzt, während Off-Policy-Ansätze große Mengen an schwer zu beschaffenden, paarweise menschlich annotierten Daten erfordern, insbesondere bei visuellen Generierungsaufgaben. Um die Einschränkungen sowohl von On- als auch Off-Policy RLHF zu bewältigen, schlagen wir eine Präferenzoptimierungsmethode vor, die DMs mit Präferenzen abgleicht, ohne auf Belohnungsmodelle oder paarweise menschlich annotierte Daten angewiesen zu sein. Konkret führen wir eine Semi-Policy-Präferenzoptimierungsmethode (SePPO) ein. SePPO nutzt frühere Checkpoints als Referenzmodelle, während sie verwendet werden, um On-Policy-Referenzproben zu generieren, die "verlierende Bilder" in Präferenzpaaren ersetzen. Dieser Ansatz ermöglicht es uns, nur mit Off-Policy-"gewinnenden Bildern" zu optimieren. Darüber hinaus entwerfen wir eine Strategie zur Auswahl des Referenzmodells, die die Exploration im Richtlinienraum erweitert. Bemerkenswert ist, dass wir Referenzproben nicht einfach als negative Beispiele für das Lernen behandeln. Stattdessen entwerfen wir ein ankerbasiertes Kriterium, um zu bewerten, ob die Referenzproben wahrscheinlich gewinnende oder verlierende Bilder sind, was dem Modell ermöglicht, selektiv aus den generierten Referenzproben zu lernen. Dieser Ansatz mildert Leistungseinbußen, die durch die Unsicherheit in der Qualität der Referenzproben verursacht werden. Wir validieren SePPO anhand von Text-zu-Bild- und Text-zu-Video-Benchmarks. SePPO übertrifft alle bisherigen Ansätze bei den Text-zu-Bild-Benchmarks und zeigt auch eine herausragende Leistung bei den Text-zu-Video-Benchmarks. Der Code wird unter https://github.com/DwanZhang-AI/SePPO veröffentlicht.

English

Reinforcement learning from human feedback (RLHF) methods are emerging as a way to fine-tune diffusion models (DMs) for visual generation. However, commonly used on-policy strategies are limited by the generalization capability of the reward model, while off-policy approaches require large amounts of difficult-to-obtain paired human-annotated data, particularly in visual generation tasks. To address the limitations of both on- and off-policy RLHF, we propose a preference optimization method that aligns DMs with preferences without relying on reward models or paired human-annotated data. Specifically, we introduce a Semi-Policy Preference Optimization (SePPO) method. SePPO leverages previous checkpoints as reference models while using them to generate on-policy reference samples, which replace "losing images" in preference pairs. This approach allows us to optimize using only off-policy "winning images." Furthermore, we design a strategy for reference model selection that expands the exploration in the policy space. Notably, we do not simply treat reference samples as negative examples for learning. Instead, we design an anchor-based criterion to assess whether the reference samples are likely to be winning or losing images, allowing the model to selectively learn from the generated reference samples. This approach mitigates performance degradation caused by the uncertainty in reference sample quality. We validate SePPO across both text-to-image and text-to-video benchmarks. SePPO surpasses all previous approaches on the text-to-image benchmarks and also demonstrates outstanding performance on the text-to-video benchmarks. Code will be released in https://github.com/DwanZhang-AI/SePPO.