Ausrichtung von Diffusionsmodellen mit rauschbedingter Wahrnehmung

Aligning Diffusion Models with Noise-Conditioned Perception

June 25, 2024

Autoren: Alexander Gambashidze, Anton Kulikov, Yuriy Sosnin, Ilya Makarov

cs.AI

Zusammenfassung

Neueste Fortschritte in der Optimierung menschlicher Präferenzen, die ursprünglich für Sprachmodelle (LMs) entwickelt wurden, haben vielversprechende Ergebnisse für Text-zu-Bild-Diffusionsmodelle gezeigt, die die Ausrichtung der Eingabeaufforderung, die visuelle Attraktivität und die Benutzerpräferenz verbessern. Im Gegensatz zu LMs optimieren Diffusionsmodelle in der Regel im Pixel- oder VAE-Raum, was nicht gut mit der menschlichen Wahrnehmung übereinstimmt und zu langsamerem und weniger effizientem Training während der Präferenzausrichtungsphase führt. Wir schlagen vor, ein perzeptuelles Ziel im U-Net-Einbettungsraum des Diffusionsmodells zu verwenden, um diese Probleme anzugehen. Unser Ansatz beinhaltet das Feinabstimmen von Stable Diffusion 1.5 und XL unter Verwendung von Direkter Präferenzoptimierung (DPO), Kontrastiver Präferenzoptimierung (CPO) und überwachtem Feinabgleich (SFT) innerhalb dieses Einbettungsraums. Diese Methode übertrifft signifikant herkömmliche Implementierungen im latenten Raum in verschiedenen Metriken, einschließlich Qualität und Rechenkosten. Für SDXL bietet unser Ansatz 60,8\% allgemeine Präferenz, 62,2\% visuelle Attraktivität und 52,1\% Eingabeaufforderungsverfolgung gegenüber dem ursprünglichen quelloffenen SDXL-DPO auf dem PartiPrompts-Datensatz und reduziert dabei signifikant die Rechenleistung. Unser Ansatz verbessert nicht nur die Effizienz und Qualität der menschlichen Präferenzausrichtung für Diffusionsmodelle, sondern ist auch leicht mit anderen Optimierungstechniken integrierbar. Der Trainingscode und die LoRA-Gewichte werden hier verfügbar sein: https://huggingface.co/alexgambashidze/SDXL_NCP-DPO_v0.1

English

Recent advancements in human preference optimization, initially developed for Language Models (LMs), have shown promise for text-to-image Diffusion Models, enhancing prompt alignment, visual appeal, and user preference. Unlike LMs, Diffusion Models typically optimize in pixel or VAE space, which does not align well with human perception, leading to slower and less efficient training during the preference alignment stage. We propose using a perceptual objective in the U-Net embedding space of the diffusion model to address these issues. Our approach involves fine-tuning Stable Diffusion 1.5 and XL using Direct Preference Optimization (DPO), Contrastive Preference Optimization (CPO), and supervised fine-tuning (SFT) within this embedding space. This method significantly outperforms standard latent-space implementations across various metrics, including quality and computational cost. For SDXL, our approach provides 60.8\% general preference, 62.2\% visual appeal, and 52.1\% prompt following against original open-sourced SDXL-DPO on the PartiPrompts dataset, while significantly reducing compute. Our approach not only improves the efficiency and quality of human preference alignment for diffusion models but is also easily integrable with other optimization techniques. The training code and LoRA weights will be available here: https://huggingface.co/alexgambashidze/SDXL\_NCP-DPO\_v0.1