Schrittweise Präferenzoptimierung: Ausrichtung der Präferenz mit der Rauschunterdrückungsleistung bei jedem Schritt

Step-aware Preference Optimization: Aligning Preference with Denoising Performance at Each Step

June 6, 2024

Autoren: Zhanhao Liang, Yuhui Yuan, Shuyang Gu, Bohan Chen, Tiankai Hang, Ji Li, Liang Zheng

cs.AI

Zusammenfassung

In letzter Zeit hat die Direkte Präferenzoptimierung (DPO) ihren Erfolg von der Ausrichtung großer Sprachmodelle (LLMs) auf die Ausrichtung von Text-zu-Bild-Diffusionsmodellen mit menschlichen Präferenzen ausgeweitet. Im Gegensatz zu den meisten bestehenden DPO-Methoden, die davon ausgehen, dass alle Diffusionsschritte eine konsistente Präferenzreihenfolge mit den endgültig generierten Bildern teilen, argumentieren wir, dass diese Annahme die leistungsbezogene Rauschunterdrückung einzelner Schritte vernachlässigt und dass Präferenzetiketten auf den Beitrag jedes Schritts zugeschnitten sein sollten. Um diese Einschränkung zu adressieren, schlagen wir die Schrittbezogene Präferenzoptimierung (SPO) vor, einen neuartigen Ansatz nach dem Training, der die Rauschunterdrückungsleistung unabhängig bei jedem Schritt bewertet und anpasst, unter Verwendung eines schrittbezogenen Präferenzmodells und eines schrittweisen Resamplers, um eine genaue schrittbezogene Überwachung sicherzustellen. Speziell sampeln wir bei jedem Rauschunterdrückungsschritt einen Pool von Bildern, finden ein geeignetes Gewinn-Verlust-Paar und wählen vor allem zufällig ein einzelnes Bild aus dem Pool aus, um den nächsten Rauschunterdrückungsschritt zu initialisieren. Dieser schrittweise Resampler-Prozess stellt sicher, dass das nächste Gewinn-Verlust-Bildpaar vom selben Bild stammt, wodurch der Gewinn-Verlust-Vergleich unabhängig vom vorherigen Schritt wird. Um die Präferenzen bei jedem Schritt zu bewerten, trainieren wir ein separates schrittbezogenes Präferenzmodell, das auf sowohl rauschigen als auch sauberen Bildern angewendet werden kann. Unsere Experimente mit Stable Diffusion v1.5 und SDXL zeigen, dass SPO die neueste Diffusion-DPO bei der Ausrichtung generierter Bilder mit komplexen, detaillierten Anweisungen und der Verbesserung der Ästhetik signifikant übertrifft, während es auch mehr als 20-mal schneller in der Trainingsleistung ist. Code und Modell: https://rockeycoss.github.io/spo.github.io/

English

Recently, Direct Preference Optimization (DPO) has extended its success from aligning large language models (LLMs) to aligning text-to-image diffusion models with human preferences. Unlike most existing DPO methods that assume all diffusion steps share a consistent preference order with the final generated images, we argue that this assumption neglects step-specific denoising performance and that preference labels should be tailored to each step's contribution. To address this limitation, we propose Step-aware Preference Optimization (SPO), a novel post-training approach that independently evaluates and adjusts the denoising performance at each step, using a step-aware preference model and a step-wise resampler to ensure accurate step-aware supervision. Specifically, at each denoising step, we sample a pool of images, find a suitable win-lose pair, and, most importantly, randomly select a single image from the pool to initialize the next denoising step. This step-wise resampler process ensures the next win-lose image pair comes from the same image, making the win-lose comparison independent of the previous step. To assess the preferences at each step, we train a separate step-aware preference model that can be applied to both noisy and clean images. Our experiments with Stable Diffusion v1.5 and SDXL demonstrate that SPO significantly outperforms the latest Diffusion-DPO in aligning generated images with complex, detailed prompts and enhancing aesthetics, while also achieving more than 20x times faster in training efficiency. Code and model: https://rockeycoss.github.io/spo.github.io/