Alignement des modèles de diffusion avec la perception conditionnée par le bruit

Aligning Diffusion Models with Noise-Conditioned Perception

June 25, 2024

Auteurs: Alexander Gambashidze, Anton Kulikov, Yuriy Sosnin, Ilya Makarov

cs.AI

Résumé

Les récents progrès dans l'optimisation des préférences humaines, initialement développés pour les modèles de langage (LMs), montrent des résultats prometteurs pour les modèles de diffusion text-to-image, améliorant l'alignement des prompts, l'attrait visuel et les préférences des utilisateurs. Contrairement aux LMs, les modèles de diffusion optimisent généralement dans l'espace des pixels ou de l'autoencodeur variationnel (VAE), ce qui ne correspond pas bien à la perception humaine, entraînant un entraînement plus lent et moins efficace lors de l'étape d'alignement des préférences. Nous proposons d'utiliser un objectif perceptuel dans l'espace d'embedding U-Net du modèle de diffusion pour résoudre ces problèmes. Notre approche consiste à affiner Stable Diffusion 1.5 et XL en utilisant l'Optimisation Directe des Préférences (DPO), l'Optimisation des Préférences par Contraste (CPO) et l'affinage supervisé (SFT) dans cet espace d'embedding. Cette méthode surpasse significativement les implémentations standard dans l'espace latent sur diverses métriques, y compris la qualité et le coût computationnel. Pour SDXL, notre approche offre 60,8 % de préférence générale, 62,2 % d'attrait visuel et 52,1 % de suivi des prompts par rapport à la version open-source originale de SDXL-DPO sur le dataset PartiPrompts, tout en réduisant considérablement les ressources de calcul. Notre approche améliore non seulement l'efficacité et la qualité de l'alignement des préférences humaines pour les modèles de diffusion, mais est également facilement intégrable avec d'autres techniques d'optimisation. Le code d'entraînement et les poids LoRA seront disponibles ici : https://huggingface.co/alexgambashidze/SDXL\_NCP-DPO\_v0.1

English

Recent advancements in human preference optimization, initially developed for Language Models (LMs), have shown promise for text-to-image Diffusion Models, enhancing prompt alignment, visual appeal, and user preference. Unlike LMs, Diffusion Models typically optimize in pixel or VAE space, which does not align well with human perception, leading to slower and less efficient training during the preference alignment stage. We propose using a perceptual objective in the U-Net embedding space of the diffusion model to address these issues. Our approach involves fine-tuning Stable Diffusion 1.5 and XL using Direct Preference Optimization (DPO), Contrastive Preference Optimization (CPO), and supervised fine-tuning (SFT) within this embedding space. This method significantly outperforms standard latent-space implementations across various metrics, including quality and computational cost. For SDXL, our approach provides 60.8\% general preference, 62.2\% visual appeal, and 52.1\% prompt following against original open-sourced SDXL-DPO on the PartiPrompts dataset, while significantly reducing compute. Our approach not only improves the efficiency and quality of human preference alignment for diffusion models but is also easily integrable with other optimization techniques. The training code and LoRA weights will be available here: https://huggingface.co/alexgambashidze/SDXL\_NCP-DPO\_v0.1