Groß angelegtes Reinforcement Learning für Diffusionsmodelle

Large-scale Reinforcement Learning for Diffusion Models

January 20, 2024

Autoren: Yinan Zhang, Eric Tzeng, Yilun Du, Dmitry Kislyuk

cs.AI

Zusammenfassung

Text-to-Image-Diffusionsmodelle sind eine Klasse von tiefen generativen Modellen, die eine beeindruckende Fähigkeit zur Erzeugung hochwertiger Bilder gezeigt haben. Diese Modelle sind jedoch anfällig für implizite Verzerrungen, die aus web-skaligen Text-Bild-Trainingspaaren entstehen und Aspekte von Bildern, die uns wichtig sind, möglicherweise ungenau abbilden. Dies kann zu suboptimalen Ergebnissen, Modellverzerrungen und Bildern führen, die nicht mit menschlichen ethischen Standards und Präferenzen übereinstimmen. In diesem Artikel präsentieren wir einen effektiven und skalierbaren Algorithmus zur Verbesserung von Diffusionsmodellen mithilfe von Reinforcement Learning (RL) über eine Vielzahl von Belohnungsfunktionen, wie menschliche Präferenzen, Kompositionalität und Fairness, die auf Millionen von Bildern angewendet werden. Wir zeigen, wie unser Ansatz bestehende Methoden zur Ausrichtung von Diffusionsmodellen an menschlichen Präferenzen deutlich übertrifft. Darüber hinaus demonstrieren wir, wie dies vortrainierte Stable Diffusion (SD)-Modelle erheblich verbessert, indem Proben erzeugt werden, die in 80,3 % der Fälle gegenüber denen des Basis-SD-Modells von Menschen bevorzugt werden, während gleichzeitig sowohl die Komposition als auch die Vielfalt der generierten Proben verbessert werden.

English

Text-to-image diffusion models are a class of deep generative models that have demonstrated an impressive capacity for high-quality image generation. However, these models are susceptible to implicit biases that arise from web-scale text-image training pairs and may inaccurately model aspects of images we care about. This can result in suboptimal samples, model bias, and images that do not align with human ethics and preferences. In this paper, we present an effective scalable algorithm to improve diffusion models using Reinforcement Learning (RL) across a diverse set of reward functions, such as human preference, compositionality, and fairness over millions of images. We illustrate how our approach substantially outperforms existing methods for aligning diffusion models with human preferences. We further illustrate how this substantially improves pretrained Stable Diffusion (SD) models, generating samples that are preferred by humans 80.3% of the time over those from the base SD model while simultaneously improving both the composition and diversity of generated samples.