SePPO: Otimização de Preferência de Política Semi para Alinhamento de Difusão

SePPO: Semi-Policy Preference Optimization for Diffusion Alignment

October 7, 2024

Autores: Daoan Zhang, Guangchen Lan, Dong-Jun Han, Wenlin Yao, Xiaoman Pan, Hongming Zhang, Mingxiao Li, Pengcheng Chen, Yu Dong, Christopher Brinton, Jiebo Luo

cs.AI

Resumo

Métodos de aprendizado por reforço a partir do feedback humano (RLHF) estão emergindo como uma forma de ajustar modelos de difusão (DMs) para geração visual. No entanto, estratégias on-policy comumente utilizadas são limitadas pela capacidade de generalização do modelo de recompensa, enquanto abordagens off-policy requerem grandes quantidades de dados emparelhados anotados por humanos, particularmente em tarefas de geração visual, difíceis de obter. Para lidar com as limitações de RLHF tanto on-policy quanto off-policy, propomos um método de otimização de preferência que alinha DMs com preferências sem depender de modelos de recompensa ou dados emparelhados anotados por humanos. Especificamente, introduzimos um método de Otimização de Preferência Semi-Policy (SePPO). SePPO aproveita checkpoints anteriores como modelos de referência enquanto os utiliza para gerar amostras de referência on-policy, que substituem as "imagens perdedoras" em pares de preferência. Essa abordagem nos permite otimizar usando apenas "imagens vencedoras" off-policy. Além disso, projetamos uma estratégia para seleção de modelo de referência que amplia a exploração no espaço de políticas. Notavelmente, não tratamos simplesmente as amostras de referência como exemplos negativos para aprendizado. Em vez disso, projetamos um critério baseado em âncora para avaliar se as amostras de referência provavelmente são imagens vencedoras ou perdedoras, permitindo que o modelo aprenda seletivamente a partir das amostras de referência geradas. Essa abordagem mitiga a degradação de desempenho causada pela incerteza na qualidade das amostras de referência. Validamos o SePPO em benchmarks de texto-para-imagem e texto-para-vídeo. O SePPO supera todas as abordagens anteriores nos benchmarks de texto-para-imagem e também demonstra um desempenho excepcional nos benchmarks de texto-para-vídeo. O código será disponibilizado em https://github.com/DwanZhang-AI/SePPO.

English

Reinforcement learning from human feedback (RLHF) methods are emerging as a way to fine-tune diffusion models (DMs) for visual generation. However, commonly used on-policy strategies are limited by the generalization capability of the reward model, while off-policy approaches require large amounts of difficult-to-obtain paired human-annotated data, particularly in visual generation tasks. To address the limitations of both on- and off-policy RLHF, we propose a preference optimization method that aligns DMs with preferences without relying on reward models or paired human-annotated data. Specifically, we introduce a Semi-Policy Preference Optimization (SePPO) method. SePPO leverages previous checkpoints as reference models while using them to generate on-policy reference samples, which replace "losing images" in preference pairs. This approach allows us to optimize using only off-policy "winning images." Furthermore, we design a strategy for reference model selection that expands the exploration in the policy space. Notably, we do not simply treat reference samples as negative examples for learning. Instead, we design an anchor-based criterion to assess whether the reference samples are likely to be winning or losing images, allowing the model to selectively learn from the generated reference samples. This approach mitigates performance degradation caused by the uncertainty in reference sample quality. We validate SePPO across both text-to-image and text-to-video benchmarks. SePPO surpasses all previous approaches on the text-to-image benchmarks and also demonstrates outstanding performance on the text-to-video benchmarks. Code will be released in https://github.com/DwanZhang-AI/SePPO.