노이즈 조건화된 인식과 디퓨전 모델 정렬

Aligning Diffusion Models with Noise-Conditioned Perception

June 25, 2024

저자: Alexander Gambashidze, Anton Kulikov, Yuriy Sosnin, Ilya Makarov

cs.AI

초록

최근 언어 모델(LMs)을 위해 개발된 인간 선호 최적화 기술의 발전은 텍스트-이미지 확산 모델(Diffusion Models)에도 유망한 결과를 보여주며, 프롬프트 정렬, 시각적 매력, 사용자 선호도 향상에 기여하고 있습니다. 언어 모델과 달리, 확산 모델은 일반적으로 픽셀 또는 VAE 공간에서 최적화를 수행하는데, 이는 인간의 인지와 잘 맞지 않아 선호 정렬 단계에서 더 느리고 비효율적인 학습을 초래합니다. 이러한 문제를 해결하기 위해, 우리는 확산 모델의 U-Net 임베딩 공간에서 지각적 목적 함수를 사용하는 방법을 제안합니다. 우리의 접근 방식은 Stable Diffusion 1.5와 XL을 이 임베딩 공간 내에서 직접 선호 최적화(DPO), 대조적 선호 최적화(CPO), 그리고 지도 미세 조정(SFT)을 통해 미세 조정하는 것을 포함합니다. 이 방법은 품질과 계산 비용을 포함한 다양한 지표에서 표준 잠재 공간 구현을 크게 능가합니다. SDXL의 경우, 우리의 접근 방식은 PartiPrompts 데이터셋에서 오리지널 오픈소스 SDXL-DPO 대비 60.8%의 일반 선호도, 62.2%의 시각적 매력, 52.1%의 프롬프트 준수를 제공하면서도 계산 비용을 크게 줄입니다. 우리의 접근 방식은 확산 모델의 인간 선호 정렬의 효율성과 품질을 개선할 뿐만 아니라, 다른 최적화 기술과도 쉽게 통합할 수 있습니다. 학습 코드와 LoRA 가중치는 다음 링크에서 제공될 예정입니다: https://huggingface.co/alexgambashidze/SDXL\_NCP-DPO\_v0.1

English

Recent advancements in human preference optimization, initially developed for Language Models (LMs), have shown promise for text-to-image Diffusion Models, enhancing prompt alignment, visual appeal, and user preference. Unlike LMs, Diffusion Models typically optimize in pixel or VAE space, which does not align well with human perception, leading to slower and less efficient training during the preference alignment stage. We propose using a perceptual objective in the U-Net embedding space of the diffusion model to address these issues. Our approach involves fine-tuning Stable Diffusion 1.5 and XL using Direct Preference Optimization (DPO), Contrastive Preference Optimization (CPO), and supervised fine-tuning (SFT) within this embedding space. This method significantly outperforms standard latent-space implementations across various metrics, including quality and computational cost. For SDXL, our approach provides 60.8\% general preference, 62.2\% visual appeal, and 52.1\% prompt following against original open-sourced SDXL-DPO on the PartiPrompts dataset, while significantly reducing compute. Our approach not only improves the efficiency and quality of human preference alignment for diffusion models but is also easily integrable with other optimization techniques. The training code and LoRA weights will be available here: https://huggingface.co/alexgambashidze/SDXL\_NCP-DPO\_v0.1