DPOK : Apprentissage par renforcement pour le réglage fin des modèles de diffusion texte-image

Résumé

L'apprentissage à partir de retours humains a démontré son efficacité pour améliorer les modèles de génération d'images à partir de texte. Ces techniques apprennent d'abord une fonction de récompense qui capture ce qui importe aux humains dans la tâche, puis améliorent les modèles en se basant sur cette fonction de récompense apprise. Bien que des approches relativement simples (par exemple, l'échantillonnage par rejet basé sur les scores de récompense) aient été explorées, l'affinement des modèles de génération d'images à partir de texte à l'aide de la fonction de récompense reste un défi. Dans ce travail, nous proposons d'utiliser l'apprentissage par renforcement en ligne (RL) pour affiner ces modèles. Nous nous concentrons sur les modèles de diffusion, en définissant la tâche d'affinement comme un problème de RL, et en mettant à jour les modèles de diffusion pré-entraînés en utilisant la méthode du gradient de politique pour maximiser la récompense apprise à partir des retours. Notre approche, nommée DPOK, intègre l'optimisation de politique avec une régularisation KL. Nous menons une analyse de la régularisation KL pour l'affinement par RL ainsi que pour l'affinement supervisé. Nos expériences montrent que DPOK est généralement supérieur à l'affinement supervisé en termes d'alignement texte-image et de qualité d'image.

English

Learning from human feedback has been shown to improve text-to-image models. These techniques first learn a reward function that captures what humans care about in the task and then improve the models based on the learned reward function. Even though relatively simple approaches (e.g., rejection sampling based on reward scores) have been investigated, fine-tuning text-to-image models with the reward function remains challenging. In this work, we propose using online reinforcement learning (RL) to fine-tune text-to-image models. We focus on diffusion models, defining the fine-tuning task as an RL problem, and updating the pre-trained text-to-image diffusion models using policy gradient to maximize the feedback-trained reward. Our approach, coined DPOK, integrates policy optimization with KL regularization. We conduct an analysis of KL regularization for both RL fine-tuning and supervised fine-tuning. In our experiments, we show that DPOK is generally superior to supervised fine-tuning with respect to both image-text alignment and image quality.

DPOK : Apprentissage par renforcement pour le réglage fin des modèles de diffusion texte-image

DPOK: Reinforcement Learning for Fine-tuning Text-to-Image Diffusion Models

Résumé

Support