Stapbewuste Voorkeursoptimalisatie: Afstemming van Voorkeur met Denoiseringsprestaties bij Elke Stap

Samenvatting

Onlangs heeft Direct Preference Optimization (DPO) zijn succes uitgebreid van het afstemmen van grote taalmodelen (LLMs) naar het afstemmen van tekst-naar-beeld diffusiemodellen op menselijke voorkeuren. In tegenstelling tot de meeste bestaande DPO-methoden die ervan uitgaan dat alle diffusiestappen een consistente voorkeursvolgorde delen met de uiteindelijk gegenereerde beelden, stellen wij dat deze aanname de stap-specifieke denoiserprestaties negeert en dat voorkeurslabels moeten worden afgestemd op de bijdrage van elke stap. Om deze beperking aan te pakken, stellen wij Step-aware Preference Optimization (SPO) voor, een nieuwe post-trainingsbenadering die onafhankelijk de denoiserprestaties bij elke stap evalueert en aanpast, met behulp van een stap-bewust voorkeursmodel en een stapgewijze hersampler om nauwkeurige stap-bewuste supervisie te garanderen. Specifiek nemen we bij elke denoiserstap een pool van beelden, vinden een geschikt win-verlies paar en, het belangrijkste, selecteren we willekeurig een enkel beeld uit de pool om de volgende denoiserstap te initialiseren. Dit stapgewijze hersampler-proces zorgt ervoor dat het volgende win-verlies beeldpaar afkomstig is van hetzelfde beeld, waardoor de win-verlies vergelijking onafhankelijk is van de vorige stap. Om de voorkeuren bij elke stap te beoordelen, trainen we een apart stap-bewust voorkeursmodel dat kan worden toegepast op zowel ruwe als schone beelden. Onze experimenten met Stable Diffusion v1.5 en SDXL tonen aan dat SPO aanzienlijk beter presteert dan de nieuwste Diffusion-DPO in het afstemmen van gegenereerde beelden op complexe, gedetailleerde prompts en het verbeteren van esthetiek, terwijl het ook meer dan 20x sneller is in trainings efficiëntie. Code en model: https://rockeycoss.github.io/spo.github.io/

English

Recently, Direct Preference Optimization (DPO) has extended its success from aligning large language models (LLMs) to aligning text-to-image diffusion models with human preferences. Unlike most existing DPO methods that assume all diffusion steps share a consistent preference order with the final generated images, we argue that this assumption neglects step-specific denoising performance and that preference labels should be tailored to each step's contribution. To address this limitation, we propose Step-aware Preference Optimization (SPO), a novel post-training approach that independently evaluates and adjusts the denoising performance at each step, using a step-aware preference model and a step-wise resampler to ensure accurate step-aware supervision. Specifically, at each denoising step, we sample a pool of images, find a suitable win-lose pair, and, most importantly, randomly select a single image from the pool to initialize the next denoising step. This step-wise resampler process ensures the next win-lose image pair comes from the same image, making the win-lose comparison independent of the previous step. To assess the preferences at each step, we train a separate step-aware preference model that can be applied to both noisy and clean images. Our experiments with Stable Diffusion v1.5 and SDXL demonstrate that SPO significantly outperforms the latest Diffusion-DPO in aligning generated images with complex, detailed prompts and enhancing aesthetics, while also achieving more than 20x times faster in training efficiency. Code and model: https://rockeycoss.github.io/spo.github.io/

Stapbewuste Voorkeursoptimalisatie: Afstemming van Voorkeur met Denoiseringsprestaties bij Elke Stap

Step-aware Preference Optimization: Aligning Preference with Denoising Performance at Each Step

Samenvatting

Support