Training von Diffusionsmodellen mit Reinforcement Learning

Training Diffusion Models with Reinforcement Learning

May 22, 2023

Autoren: Kevin Black, Michael Janner, Yilun Du, Ilya Kostrikov, Sergey Levine

cs.AI

Zusammenfassung

Diffusionsmodelle sind eine Klasse flexibler generativer Modelle, die mit einer Annäherung an das Log-Likelihood-Ziel trainiert werden. Die meisten Anwendungsfälle von Diffusionsmodellen befassen sich jedoch nicht mit Likelihoods, sondern mit nachgelagerten Zielen wie der vom Menschen wahrgenommenen Bildqualität oder der Wirksamkeit von Medikamenten. In diesem Artikel untersuchen wir Methoden des Reinforcement Learning, um Diffusionsmodelle direkt für solche Ziele zu optimieren. Wir beschreiben, wie die Formulierung der Rauschunterdrückung als mehrstufiges Entscheidungsproblem eine Klasse von Policy-Gradient-Algorithmen ermöglicht, die wir als Denoising Diffusion Policy Optimization (DDPO) bezeichnen und die effektiver sind als alternative Ansätze mit belohnungsgewichteter Likelihood. Empirisch zeigt sich, dass DDPO in der Lage ist, Text-zu-Bild-Diffusionsmodelle an Ziele anzupassen, die schwer durch Prompting auszudrücken sind, wie beispielsweise Bildkomprimierbarkeit, sowie an Ziele, die aus menschlichem Feedback abgeleitet werden, wie ästhetische Qualität. Schließlich zeigen wir, dass DDPO die Prompt-Bild-Ausrichtung mithilfe von Feedback eines Vision-Language-Modells verbessern kann, ohne dass zusätzliche Datensammlung oder menschliche Annotation erforderlich ist.

English

Diffusion models are a class of flexible generative models trained with an approximation to the log-likelihood objective. However, most use cases of diffusion models are not concerned with likelihoods, but instead with downstream objectives such as human-perceived image quality or drug effectiveness. In this paper, we investigate reinforcement learning methods for directly optimizing diffusion models for such objectives. We describe how posing denoising as a multi-step decision-making problem enables a class of policy gradient algorithms, which we refer to as denoising diffusion policy optimization (DDPO), that are more effective than alternative reward-weighted likelihood approaches. Empirically, DDPO is able to adapt text-to-image diffusion models to objectives that are difficult to express via prompting, such as image compressibility, and those derived from human feedback, such as aesthetic quality. Finally, we show that DDPO can improve prompt-image alignment using feedback from a vision-language model without the need for additional data collection or human annotation.