Alineando Modelos de Difusión con Percepción Condicionada por Ruido

Aligning Diffusion Models with Noise-Conditioned Perception

June 25, 2024

Autores: Alexander Gambashidze, Anton Kulikov, Yuriy Sosnin, Ilya Makarov

cs.AI

Resumen

Los recientes avances en la optimización de preferencias humanas, desarrollados inicialmente para modelos de lenguaje (LMs), han mostrado potencial para los modelos de difusión de texto a imagen, mejorando la alineación con el prompt, el atractivo visual y las preferencias del usuario. A diferencia de los LMs, los modelos de difusión suelen optimizar en el espacio de píxeles o VAE, lo cual no se alinea bien con la percepción humana, resultando en un entrenamiento más lento y menos eficiente durante la etapa de alineación de preferencias. Proponemos utilizar un objetivo perceptual en el espacio de incrustación U-Net del modelo de difusión para abordar estos problemas. Nuestro enfoque implica ajustar fino Stable Diffusion 1.5 y XL utilizando Optimización Directa de Preferencias (DPO), Optimización de Preferencias Contrastivas (CPO) y ajuste fino supervisado (SFT) dentro de este espacio de incrustación. Este método supera significativamente las implementaciones estándar en el espacio latente en varias métricas, incluyendo calidad y costo computacional. Para SDXL, nuestro enfoque proporciona un 60.8\% de preferencia general, un 62.2\% de atractivo visual y un 52.1\% de seguimiento del prompt en comparación con el SDXL-DPO de código abierto original en el conjunto de datos PartiPrompts, mientras reduce significativamente el cómputo. Nuestro enfoque no solo mejora la eficiencia y calidad de la alineación de preferencias humanas para modelos de difusión, sino que también es fácilmente integrable con otras técnicas de optimización. El código de entrenamiento y los pesos LoRA estarán disponibles aquí: https://huggingface.co/alexgambashidze/SDXL\_NCP-DPO\_v0.1

English

Recent advancements in human preference optimization, initially developed for Language Models (LMs), have shown promise for text-to-image Diffusion Models, enhancing prompt alignment, visual appeal, and user preference. Unlike LMs, Diffusion Models typically optimize in pixel or VAE space, which does not align well with human perception, leading to slower and less efficient training during the preference alignment stage. We propose using a perceptual objective in the U-Net embedding space of the diffusion model to address these issues. Our approach involves fine-tuning Stable Diffusion 1.5 and XL using Direct Preference Optimization (DPO), Contrastive Preference Optimization (CPO), and supervised fine-tuning (SFT) within this embedding space. This method significantly outperforms standard latent-space implementations across various metrics, including quality and computational cost. For SDXL, our approach provides 60.8\% general preference, 62.2\% visual appeal, and 52.1\% prompt following against original open-sourced SDXL-DPO on the PartiPrompts dataset, while significantly reducing compute. Our approach not only improves the efficiency and quality of human preference alignment for diffusion models but is also easily integrable with other optimization techniques. The training code and LoRA weights will be available here: https://huggingface.co/alexgambashidze/SDXL\_NCP-DPO\_v0.1