Allineamento dei Modelli di Diffusione con la Percezione Condizionata dal Rumore
Aligning Diffusion Models with Noise-Conditioned Perception
June 25, 2024
Autori: Alexander Gambashidze, Anton Kulikov, Yuriy Sosnin, Ilya Makarov
cs.AI
Abstract
I recenti progressi nell'ottimizzazione delle preferenze umane, inizialmente sviluppati per i Modelli Linguistici (LM), hanno mostrato risultati promettenti per i Modelli di Diffusione testo-immagine, migliorando l'allineamento con le istruzioni, l'attrattiva visiva e le preferenze degli utenti. A differenza dei LM, i Modelli di Diffusione ottimizzano tipicamente nello spazio dei pixel o dello spazio VAE, che non si allinea bene con la percezione umana, portando a un addestramento più lento e meno efficiente durante la fase di allineamento delle preferenze. Proponiamo di utilizzare un obiettivo percettivo nello spazio di embedding U-Net del modello di diffusione per affrontare questi problemi. Il nostro approccio prevede il fine-tuning di Stable Diffusion 1.5 e XL utilizzando l'Ottimizzazione Diretta delle Preferenze (DPO), l'Ottimizzazione delle Preferenze Contrastive (CPO) e il fine-tuning supervisionato (SFT) all'interno di questo spazio di embedding. Questo metodo supera significativamente le implementazioni standard nello spazio latente in varie metriche, inclusa la qualità e il costo computazionale. Per SDXL, il nostro approccio fornisce una preferenza generale del 60,8%, un'attrattiva visiva del 62,2% e un allineamento alle istruzioni del 52,1% rispetto all'originale SDXL-DPO open-source sul dataset PartiPrompts, riducendo significativamente il calcolo. Il nostro approccio non solo migliora l'efficienza e la qualità dell'allineamento delle preferenze umane per i modelli di diffusione, ma è anche facilmente integrabile con altre tecniche di ottimizzazione. Il codice di addestramento e i pesi LoRA saranno disponibili qui: https://huggingface.co/alexgambashidze/SDXL\_NCP-DPO\_v0.1
English
Recent advancements in human preference optimization, initially developed for
Language Models (LMs), have shown promise for text-to-image Diffusion Models,
enhancing prompt alignment, visual appeal, and user preference. Unlike LMs,
Diffusion Models typically optimize in pixel or VAE space, which does not align
well with human perception, leading to slower and less efficient training
during the preference alignment stage. We propose using a perceptual objective
in the U-Net embedding space of the diffusion model to address these issues.
Our approach involves fine-tuning Stable Diffusion 1.5 and XL using Direct
Preference Optimization (DPO), Contrastive Preference Optimization (CPO), and
supervised fine-tuning (SFT) within this embedding space. This method
significantly outperforms standard latent-space implementations across various
metrics, including quality and computational cost. For SDXL, our approach
provides 60.8\% general preference, 62.2\% visual appeal, and 52.1\% prompt
following against original open-sourced SDXL-DPO on the PartiPrompts dataset,
while significantly reducing compute. Our approach not only improves the
efficiency and quality of human preference alignment for diffusion models but
is also easily integrable with other optimization techniques. The training code
and LoRA weights will be available here:
https://huggingface.co/alexgambashidze/SDXL\_NCP-DPO\_v0.1