Optimización de Preferencias Consciente del Paso: Alineando las Preferencias con el Rendimiento de Eliminación de Ruido en Cada Paso

Step-aware Preference Optimization: Aligning Preference with Denoising Performance at Each Step

June 6, 2024

Autores: Zhanhao Liang, Yuhui Yuan, Shuyang Gu, Bohan Chen, Tiankai Hang, Ji Li, Liang Zheng

cs.AI

Resumen

Recientemente, la Optimización Directa de Preferencias (DPO) ha extendido su éxito desde la alineación de modelos de lenguaje grandes (LLMs) hasta la alineación de modelos de difusión de texto a imagen con preferencias humanas. A diferencia de la mayoría de los métodos DPO existentes, que asumen que todos los pasos de difusión comparten un orden de preferencia consistente con las imágenes generadas finales, argumentamos que esta suposición descuida el rendimiento específico de cada paso en el proceso de eliminación de ruido y que las etiquetas de preferencia deberían adaptarse a la contribución de cada paso. Para abordar esta limitación, proponemos la Optimización de Preferencias Consciente del Paso (SPO), un enfoque novedoso de posentrenamiento que evalúa y ajusta de manera independiente el rendimiento de eliminación de ruido en cada paso, utilizando un modelo de preferencias consciente del paso y un remuestreador paso a paso para garantizar una supervisión precisa y específica del paso. Específicamente, en cada paso de eliminación de ruido, muestreamos un conjunto de imágenes, encontramos un par ganador-perdedor adecuado y, lo más importante, seleccionamos aleatoriamente una única imagen del conjunto para inicializar el siguiente paso de eliminación de ruido. Este proceso de remuestreo paso a paso asegura que el siguiente par de imágenes ganador-perdedor provenga de la misma imagen, haciendo que la comparación ganador-perdedor sea independiente del paso anterior. Para evaluar las preferencias en cada paso, entrenamos un modelo de preferencias consciente del paso separado que puede aplicarse tanto a imágenes ruidosas como limpias. Nuestros experimentos con Stable Diffusion v1.5 y SDXL demuestran que SPO supera significativamente al último Diffusion-DPO en la alineación de imágenes generadas con indicaciones complejas y detalladas, mejorando la estética, mientras también logra ser más de 20 veces más eficiente en el entrenamiento. Código y modelo: https://rockeycoss.github.io/spo.github.io/

English

Recently, Direct Preference Optimization (DPO) has extended its success from aligning large language models (LLMs) to aligning text-to-image diffusion models with human preferences. Unlike most existing DPO methods that assume all diffusion steps share a consistent preference order with the final generated images, we argue that this assumption neglects step-specific denoising performance and that preference labels should be tailored to each step's contribution. To address this limitation, we propose Step-aware Preference Optimization (SPO), a novel post-training approach that independently evaluates and adjusts the denoising performance at each step, using a step-aware preference model and a step-wise resampler to ensure accurate step-aware supervision. Specifically, at each denoising step, we sample a pool of images, find a suitable win-lose pair, and, most importantly, randomly select a single image from the pool to initialize the next denoising step. This step-wise resampler process ensures the next win-lose image pair comes from the same image, making the win-lose comparison independent of the previous step. To assess the preferences at each step, we train a separate step-aware preference model that can be applied to both noisy and clean images. Our experiments with Stable Diffusion v1.5 and SDXL demonstrate that SPO significantly outperforms the latest Diffusion-DPO in aligning generated images with complex, detailed prompts and enhancing aesthetics, while also achieving more than 20x times faster in training efficiency. Code and model: https://rockeycoss.github.io/spo.github.io/