DPOK: Reinforcement Learning zur Feinabstimmung von Text-zu-Bild-Diffusionsmodellen

DPOK: Reinforcement Learning for Fine-tuning Text-to-Image Diffusion Models

May 25, 2023

Autoren: Ying Fan, Olivia Watkins, Yuqing Du, Hao Liu, Moonkyung Ryu, Craig Boutilier, Pieter Abbeel, Mohammad Ghavamzadeh, Kangwook Lee, Kimin Lee

cs.AI

Zusammenfassung

Das Lernen aus menschlichem Feedback hat sich als wirksam erwiesen, um Text-zu-Bild-Modelle zu verbessern. Diese Techniken lernen zunächst eine Belohnungsfunktion, die erfasst, was Menschen bei der Aufgabe wichtig ist, und verbessern dann die Modelle basierend auf der gelernten Belohnungsfunktion. Obwohl relativ einfache Ansätze (z. B. Ablehnungsstichproben basierend auf Belohnungswerten) untersucht wurden, bleibt die Feinabstimmung von Text-zu-Bild-Modellen mit der Belohnungsfunktion eine Herausforderung. In dieser Arbeit schlagen wir vor, Online-Verstärkungslernen (Reinforcement Learning, RL) zur Feinabstimmung von Text-zu-Bild-Modellen zu verwenden. Wir konzentrieren uns auf Diffusionsmodelle, definieren die Feinabstimmungsaufgabe als ein RL-Problem und aktualisieren die vortrainierten Text-zu-Bild-Diffusionsmodelle mithilfe von Policy-Gradient-Methoden, um das durch Feedback trainierte Belohnungssignal zu maximieren. Unser Ansatz, genannt DPOK, integriert Policy-Optimierung mit KL-Regularisierung. Wir führen eine Analyse der KL-Regularisierung sowohl für RL-Feinabstimmung als auch für überwachte Feinabstimmung durch. In unseren Experimenten zeigen wir, dass DPOK im Allgemeinen der überwachten Feinabstimmung sowohl in Bezug auf die Bild-Text-Ausrichtung als auch auf die Bildqualität überlegen ist.

English

Learning from human feedback has been shown to improve text-to-image models. These techniques first learn a reward function that captures what humans care about in the task and then improve the models based on the learned reward function. Even though relatively simple approaches (e.g., rejection sampling based on reward scores) have been investigated, fine-tuning text-to-image models with the reward function remains challenging. In this work, we propose using online reinforcement learning (RL) to fine-tune text-to-image models. We focus on diffusion models, defining the fine-tuning task as an RL problem, and updating the pre-trained text-to-image diffusion models using policy gradient to maximize the feedback-trained reward. Our approach, coined DPOK, integrates policy optimization with KL regularization. We conduct an analysis of KL regularization for both RL fine-tuning and supervised fine-tuning. In our experiments, we show that DPOK is generally superior to supervised fine-tuning with respect to both image-text alignment and image quality.