Optimisation des Préférences Consciente des Étapes : Alignement des Préférences avec la Performance de Dénoyautage à Chaque Étape

Step-aware Preference Optimization: Aligning Preference with Denoising Performance at Each Step

June 6, 2024

Auteurs: Zhanhao Liang, Yuhui Yuan, Shuyang Gu, Bohan Chen, Tiankai Hang, Ji Li, Liang Zheng

cs.AI

Résumé

Récemment, l'Optimisation Directe des Préférences (Direct Preference Optimization, DPO) a étendu son succès de l'alignement des grands modèles de langage (LLMs) à l'alignement des modèles de diffusion texte-image avec les préférences humaines. Contrairement à la plupart des méthodes DPO existantes qui supposent que toutes les étapes de diffusion partagent un ordre de préférence cohérent avec les images finales générées, nous soutenons que cette hypothèse néglige la performance spécifique à chaque étape de débruitage et que les étiquettes de préférence devraient être adaptées à la contribution de chaque étape. Pour remédier à cette limitation, nous proposons l'Optimisation des Préférences Consciente des Étapes (Step-aware Preference Optimization, SPO), une nouvelle approche post-entraînement qui évalue et ajuste indépendamment la performance de débruitage à chaque étape, en utilisant un modèle de préférence conscient des étapes et un rééchantillonneur étape par étape pour garantir une supervision précise et adaptée à chaque étape. Concrètement, à chaque étape de débruitage, nous échantillonnons un ensemble d'images, identifions une paire gagnante-perdante appropriée et, surtout, sélectionnons aléatoirement une seule image de cet ensemble pour initialiser l'étape de débruitage suivante. Ce processus de rééchantillonnage étape par étape garantit que la prochaine paire d'images gagnante-perdante provient de la même image, rendant la comparaison gagnante-perdante indépendante de l'étape précédente. Pour évaluer les préférences à chaque étape, nous entraînons un modèle de préférence conscient des étapes distinct, applicable à la fois aux images bruitées et aux images propres. Nos expériences avec Stable Diffusion v1.5 et SDXL démontrent que SPO surpasse significativement la dernière version de Diffusion-DPO en alignant les images générées avec des prompts complexes et détaillés et en améliorant l'esthétique, tout en atteignant une efficacité d'entraînement plus de 20 fois supérieure. Code et modèle : https://rockeycoss.github.io/spo.github.io/

English

Recently, Direct Preference Optimization (DPO) has extended its success from aligning large language models (LLMs) to aligning text-to-image diffusion models with human preferences. Unlike most existing DPO methods that assume all diffusion steps share a consistent preference order with the final generated images, we argue that this assumption neglects step-specific denoising performance and that preference labels should be tailored to each step's contribution. To address this limitation, we propose Step-aware Preference Optimization (SPO), a novel post-training approach that independently evaluates and adjusts the denoising performance at each step, using a step-aware preference model and a step-wise resampler to ensure accurate step-aware supervision. Specifically, at each denoising step, we sample a pool of images, find a suitable win-lose pair, and, most importantly, randomly select a single image from the pool to initialize the next denoising step. This step-wise resampler process ensures the next win-lose image pair comes from the same image, making the win-lose comparison independent of the previous step. To assess the preferences at each step, we train a separate step-aware preference model that can be applied to both noisy and clean images. Our experiments with Stable Diffusion v1.5 and SDXL demonstrate that SPO significantly outperforms the latest Diffusion-DPO in aligning generated images with complex, detailed prompts and enhancing aesthetics, while also achieving more than 20x times faster in training efficiency. Code and model: https://rockeycoss.github.io/spo.github.io/