Otimização de Preferência Consciente da Etapa: Alinhando Preferência com Desempenho de Remoção de Ruído em Cada Etapa

Step-aware Preference Optimization: Aligning Preference with Denoising Performance at Each Step

June 6, 2024

Autores: Zhanhao Liang, Yuhui Yuan, Shuyang Gu, Bohan Chen, Tiankai Hang, Ji Li, Liang Zheng

cs.AI

Resumo

Recentemente, o Otimização Direta de Preferências (Direct Preference Optimization - DPO) estendeu seu sucesso do alinhamento de grandes modelos de linguagem (Large Language Models - LLMs) para o alinhamento de modelos de difusão de texto para imagem com preferências humanas. Diferente da maioria dos métodos existentes de DPO, que assumem que todas as etapas de difusão compartilham uma ordem de preferência consistente com as imagens finais geradas, argumentamos que essa suposição negligencia o desempenho específico de cada etapa de remoção de ruído e que os rótulos de preferência devem ser adaptados à contribuição de cada etapa. Para abordar essa limitação, propomos a Otimização de Preferências Consciente da Etapa (Step-aware Preference Optimization - SPO), uma nova abordagem pós-treinamento que avalia e ajusta independentemente o desempenho de remoção de ruído em cada etapa, utilizando um modelo de preferência consciente da etapa e um reamostrador passo a passo para garantir uma supervisão precisa e consciente da etapa. Especificamente, em cada etapa de remoção de ruído, amostramos um conjunto de imagens, encontramos um par adequado de vitória-derrota e, mais importante, selecionamos aleatoriamente uma única imagem do conjunto para inicializar a próxima etapa de remoção de ruído. Esse processo de reamostragem passo a passo garante que o próximo par de imagens vitória-derrota venha da mesma imagem, tornando a comparação vitória-derrota independente da etapa anterior. Para avaliar as preferências em cada etapa, treinamos um modelo de preferência consciente da etapa separado, que pode ser aplicado tanto a imagens ruidosas quanto a imagens limpas. Nossos experimentos com o Stable Diffusion v1.5 e o SDXL demonstram que o SPO supera significativamente o mais recente Diffusion-DPO no alinhamento de imagens geradas com prompts complexos e detalhados e na melhoria da estética, além de alcançar mais de 20 vezes maior eficiência de treinamento. Código e modelo: https://rockeycoss.github.io/spo.github.io/

English

Recently, Direct Preference Optimization (DPO) has extended its success from aligning large language models (LLMs) to aligning text-to-image diffusion models with human preferences. Unlike most existing DPO methods that assume all diffusion steps share a consistent preference order with the final generated images, we argue that this assumption neglects step-specific denoising performance and that preference labels should be tailored to each step's contribution. To address this limitation, we propose Step-aware Preference Optimization (SPO), a novel post-training approach that independently evaluates and adjusts the denoising performance at each step, using a step-aware preference model and a step-wise resampler to ensure accurate step-aware supervision. Specifically, at each denoising step, we sample a pool of images, find a suitable win-lose pair, and, most importantly, randomly select a single image from the pool to initialize the next denoising step. This step-wise resampler process ensures the next win-lose image pair comes from the same image, making the win-lose comparison independent of the previous step. To assess the preferences at each step, we train a separate step-aware preference model that can be applied to both noisy and clean images. Our experiments with Stable Diffusion v1.5 and SDXL demonstrate that SPO significantly outperforms the latest Diffusion-DPO in aligning generated images with complex, detailed prompts and enhancing aesthetics, while also achieving more than 20x times faster in training efficiency. Code and model: https://rockeycoss.github.io/spo.github.io/