Выравнивание моделей диффузии с шумоусловленным восприятием

Aligning Diffusion Models with Noise-Conditioned Perception

June 25, 2024

Авторы: Alexander Gambashidze, Anton Kulikov, Yuriy Sosnin, Ilya Makarov

cs.AI

Аннотация

Недавние достижения в оптимизации предпочтений человека, изначально разработанные для языковых моделей (LM), показали перспективы для диффузионных моделей текста в изображение, улучшая соответствие запросу, визуальное привлекательность и предпочтения пользователя. В отличие от LM, диффузионные модели обычно оптимизируются в пространстве пикселей или VAE, которое плохо соответствует человеческому восприятию, что приводит к более медленному и менее эффективному обучению на этапе согласования предпочтений. Мы предлагаем использовать перцептивный критерий в пространстве встраивания U-Net диффузионной модели для решения этих проблем. Наш подход включает донастройку Stable Diffusion 1.5 и XL с использованием прямой оптимизации предпочтений (DPO), контрастной оптимизации предпочтений (CPO) и надзорной донастройки (SFT) в этом пространстве встраивания. Этот метод значительно превосходит стандартные реализации пространства латентных переменных по различным метрикам, включая качество и вычислительные затраты. Для SDXL наш подход обеспечивает 60.8\% общего предпочтения, 62.2\% визуальной привлекательности и 52.1\% следования запросу по сравнению с оригинальным открытым SDXL-DPO на наборе данных PartiPrompts, существенно снижая вычислительные затраты. Наш подход не только улучшает эффективность и качество согласования предпочтений человека для диффузионных моделей, но также легко интегрируется с другими методами оптимизации. Код обучения и веса LoRA будут доступны здесь: https://huggingface.co/alexgambashidze/SDXL_NCP-DPO_v0.1

English

Recent advancements in human preference optimization, initially developed for Language Models (LMs), have shown promise for text-to-image Diffusion Models, enhancing prompt alignment, visual appeal, and user preference. Unlike LMs, Diffusion Models typically optimize in pixel or VAE space, which does not align well with human perception, leading to slower and less efficient training during the preference alignment stage. We propose using a perceptual objective in the U-Net embedding space of the diffusion model to address these issues. Our approach involves fine-tuning Stable Diffusion 1.5 and XL using Direct Preference Optimization (DPO), Contrastive Preference Optimization (CPO), and supervised fine-tuning (SFT) within this embedding space. This method significantly outperforms standard latent-space implementations across various metrics, including quality and computational cost. For SDXL, our approach provides 60.8\% general preference, 62.2\% visual appeal, and 52.1\% prompt following against original open-sourced SDXL-DPO on the PartiPrompts dataset, while significantly reducing compute. Our approach not only improves the efficiency and quality of human preference alignment for diffusion models but is also easily integrable with other optimization techniques. The training code and LoRA weights will be available here: https://huggingface.co/alexgambashidze/SDXL\_NCP-DPO\_v0.1