Alinhando Modelos de Difusão com Percepção Condicionada ao Ruído
Aligning Diffusion Models with Noise-Conditioned Perception
June 25, 2024
Autores: Alexander Gambashidze, Anton Kulikov, Yuriy Sosnin, Ilya Makarov
cs.AI
Resumo
Avanços recentes na otimização de preferências humanas, inicialmente desenvolvidos para Modelos de Linguagem (LMs), têm mostrado promessa para Modelos de Difusão texto-imagem, aprimorando o alinhamento da sugestão, apelo visual e preferência do usuário. Ao contrário dos LMs, os Modelos de Difusão geralmente otimizam no espaço de pixels ou VAE, o que não se alinha bem com a percepção humana, resultando em treinamento mais lento e menos eficiente durante a etapa de alinhamento de preferências. Propomos o uso de um objetivo perceptual no espaço de incorporação U-Net do modelo de difusão para abordar essas questões. Nossa abordagem envolve ajuste fino do Stable Diffusion 1.5 e XL usando Otimização Direta de Preferência (DPO), Otimização de Preferência Contrastiva (CPO) e ajuste fino supervisionado (SFT) dentro deste espaço de incorporação. Este método supera significativamente as implementações padrão de espaço latente em várias métricas, incluindo qualidade e custo computacional. Para SDXL, nossa abordagem fornece 60,8\% de preferência geral, 62,2\% de apelo visual e 52,1\% de seguimento de sugestão em relação ao SDXL-DPO original de código aberto no conjunto de dados PartiPrompts, enquanto reduz significativamente o cálculo. Nossa abordagem não apenas melhora a eficiência e qualidade do alinhamento de preferências humanas para modelos de difusão, mas também é facilmente integrável com outras técnicas de otimização. O código de treinamento e os pesos LoRA estarão disponíveis aqui: https://huggingface.co/alexgambashidze/SDXL_NCP-DPO_v0.1
English
Recent advancements in human preference optimization, initially developed for
Language Models (LMs), have shown promise for text-to-image Diffusion Models,
enhancing prompt alignment, visual appeal, and user preference. Unlike LMs,
Diffusion Models typically optimize in pixel or VAE space, which does not align
well with human perception, leading to slower and less efficient training
during the preference alignment stage. We propose using a perceptual objective
in the U-Net embedding space of the diffusion model to address these issues.
Our approach involves fine-tuning Stable Diffusion 1.5 and XL using Direct
Preference Optimization (DPO), Contrastive Preference Optimization (CPO), and
supervised fine-tuning (SFT) within this embedding space. This method
significantly outperforms standard latent-space implementations across various
metrics, including quality and computational cost. For SDXL, our approach
provides 60.8\% general preference, 62.2\% visual appeal, and 52.1\% prompt
following against original open-sourced SDXL-DPO on the PartiPrompts dataset,
while significantly reducing compute. Our approach not only improves the
efficiency and quality of human preference alignment for diffusion models but
is also easily integrable with other optimization techniques. The training code
and LoRA weights will be available here:
https://huggingface.co/alexgambashidze/SDXL\_NCP-DPO\_v0.1