Grootschalig Reinforcement Learning voor Diffusiemodellen

Large-scale Reinforcement Learning for Diffusion Models

January 20, 2024

Auteurs: Yinan Zhang, Eric Tzeng, Yilun Du, Dmitry Kislyuk

cs.AI

Samenvatting

Text-to-image diffusiemodellen vormen een klasse van diepe generatieve modellen die een indrukwekkend vermogen hebben getoond voor het genereren van hoogwaardige afbeeldingen. Deze modellen zijn echter gevoelig voor impliciete vooroordelen die voortkomen uit web-schaal tekst-afbeelding trainingsparen en kunnen aspecten van afbeeldingen die voor ons belangrijk zijn onnauwkeurig modelleren. Dit kan leiden tot suboptimale resultaten, modelvooroordelen en afbeeldingen die niet in lijn zijn met menselijke ethiek en voorkeuren. In dit artikel presenteren we een effectief en schaalbaar algoritme om diffusiemodellen te verbeteren met behulp van Reinforcement Learning (RL) over een diverse set van beloningsfuncties, zoals menselijke voorkeur, compositionaliteit en eerlijkheid over miljoenen afbeeldingen. We laten zien hoe onze aanzienlijk beter presteert dan bestaande methoden voor het afstemmen van diffusiemodellen op menselijke voorkeuren. We illustreren verder hoe dit vooraf getrainde Stable Diffusion (SD) modellen aanzienlijk verbetert, waarbij gegenereerde samples in 80,3% van de gevallen de voorkeur genieten boven die van het basis SD-model, terwijl tegelijkertijd zowel de compositie als de diversiteit van de gegenereerde samples worden verbeterd.

English

Text-to-image diffusion models are a class of deep generative models that have demonstrated an impressive capacity for high-quality image generation. However, these models are susceptible to implicit biases that arise from web-scale text-image training pairs and may inaccurately model aspects of images we care about. This can result in suboptimal samples, model bias, and images that do not align with human ethics and preferences. In this paper, we present an effective scalable algorithm to improve diffusion models using Reinforcement Learning (RL) across a diverse set of reward functions, such as human preference, compositionality, and fairness over millions of images. We illustrate how our approach substantially outperforms existing methods for aligning diffusion models with human preferences. We further illustrate how this substantially improves pretrained Stable Diffusion (SD) models, generating samples that are preferred by humans 80.3% of the time over those from the base SD model while simultaneously improving both the composition and diversity of generated samples.