SePPO: Ottimizzazione delle Preferenze Semi-Policy per l'Allineamento della Diffusione

Abstract

I metodi di apprendimento per rinforzo da feedback umano (RLHF) stanno emergendo come un modo per perfezionare i modelli di diffusione (DMs) per la generazione visuale. Tuttavia, le strategie comunemente utilizzate on-policy sono limitate dalla capacità di generalizzazione del modello di ricompensa, mentre gli approcci off-policy richiedono grandi quantità di dati accoppiati annotati da umani, particolarmente difficili da ottenere, soprattutto in compiti di generazione visuale. Per affrontare le limitazioni sia degli approcci on-policy che off-policy RLHF, proponiamo un metodo di ottimizzazione delle preferenze che allinea i DM con le preferenze senza fare affidamento su modelli di ricompensa o dati accoppiati annotati da umani. In particolare, introduciamo un metodo di Ottimizzazione delle Preferenze Semi-Policy (SePPO). SePPO sfrutta i checkpoint precedenti come modelli di riferimento utilizzandoli per generare campioni di riferimento on-policy, che sostituiscono le "immagini perdenti" nelle coppie di preferenze. Questo approccio ci consente di ottimizzare utilizzando solo "immagini vincenti" off-policy. Inoltre, progettiamo una strategia per la selezione del modello di riferimento che espande l'esplorazione nello spazio delle policy. In particolare, non trattiamo semplicemente i campioni di riferimento come esempi negativi per l'apprendimento. Invece, progettiamo un criterio basato su ancoraggio per valutare se i campioni di riferimento sono probabili di essere immagini vincenti o perdenti, consentendo al modello di apprendere selettivamente dai campioni di riferimento generati. Questo approccio mitiga il degrado delle prestazioni causato dall'incertezza nella qualità del campione di riferimento. Confermiamo l'efficacia di SePPO su entrambi i benchmark testo-immagine e testo-video. SePPO supera tutti gli approcci precedenti sui benchmark testo-immagine e dimostra anche prestazioni eccezionali sui benchmark testo-video. Il codice sarà rilasciato su https://github.com/DwanZhang-AI/SePPO.

English

Reinforcement learning from human feedback (RLHF) methods are emerging as a way to fine-tune diffusion models (DMs) for visual generation. However, commonly used on-policy strategies are limited by the generalization capability of the reward model, while off-policy approaches require large amounts of difficult-to-obtain paired human-annotated data, particularly in visual generation tasks. To address the limitations of both on- and off-policy RLHF, we propose a preference optimization method that aligns DMs with preferences without relying on reward models or paired human-annotated data. Specifically, we introduce a Semi-Policy Preference Optimization (SePPO) method. SePPO leverages previous checkpoints as reference models while using them to generate on-policy reference samples, which replace "losing images" in preference pairs. This approach allows us to optimize using only off-policy "winning images." Furthermore, we design a strategy for reference model selection that expands the exploration in the policy space. Notably, we do not simply treat reference samples as negative examples for learning. Instead, we design an anchor-based criterion to assess whether the reference samples are likely to be winning or losing images, allowing the model to selectively learn from the generated reference samples. This approach mitigates performance degradation caused by the uncertainty in reference sample quality. We validate SePPO across both text-to-image and text-to-video benchmarks. SePPO surpasses all previous approaches on the text-to-image benchmarks and also demonstrates outstanding performance on the text-to-video benchmarks. Code will be released in https://github.com/DwanZhang-AI/SePPO.

SePPO: Ottimizzazione delle Preferenze Semi-Policy per l'Allineamento della Diffusione

SePPO: Semi-Policy Preference Optimization for Diffusion Alignment

Abstract

Support