DPOK：テキストから画像への拡散モデル微調整のための強化学習

要旨

人間のフィードバックから学習することで、テキストから画像を生成するモデルの性能が向上することが示されています。これらの手法ではまず、タスクにおいて人間が重視する要素を捉える報酬関数を学習し、その後、学習した報酬関数に基づいてモデルを改善します。比較的単純なアプローチ（例えば、報酬スコアに基づくリジェクトサンプリング）が検討されてきましたが、報酬関数を用いたテキストから画像を生成するモデルのファインチューニングは依然として困難です。本研究では、オンライン強化学習（RL）を用いてテキストから画像を生成するモデルをファインチューニングすることを提案します。我々は拡散モデルに焦点を当て、ファインチューニングタスクをRL問題として定義し、事前学習済みのテキストから画像を生成する拡散モデルを、フィードバックによって学習された報酬を最大化するようにポリシー勾配を用いて更新します。我々のアプローチであるDPOKは、ポリシー最適化とKL正則化を統合したものです。我々は、RLファインチューニングと教師ありファインチューニングの両方におけるKL正則化の分析を行います。実験では、DPOKが画像とテキストの整合性および画像品質の両方において、教師ありファインチューニングよりも一般的に優れていることを示します。

English

Learning from human feedback has been shown to improve text-to-image models. These techniques first learn a reward function that captures what humans care about in the task and then improve the models based on the learned reward function. Even though relatively simple approaches (e.g., rejection sampling based on reward scores) have been investigated, fine-tuning text-to-image models with the reward function remains challenging. In this work, we propose using online reinforcement learning (RL) to fine-tune text-to-image models. We focus on diffusion models, defining the fine-tuning task as an RL problem, and updating the pre-trained text-to-image diffusion models using policy gradient to maximize the feedback-trained reward. Our approach, coined DPOK, integrates policy optimization with KL regularization. We conduct an analysis of KL regularization for both RL fine-tuning and supervised fine-tuning. In our experiments, we show that DPOK is generally superior to supervised fine-tuning with respect to both image-text alignment and image quality.

DPOK：テキストから画像への拡散モデル微調整のための強化学習

DPOK: Reinforcement Learning for Fine-tuning Text-to-Image Diffusion Models

要旨

Support