拡散モデルの強化学習によるトレーニング

要旨

拡散モデルは、対数尤度目的関数の近似を用いて訓練される柔軟な生成モデルの一種です。しかし、拡散モデルのほとんどの使用例は尤度を重視するのではなく、人間が知覚する画像品質や薬剤の有効性といった下流の目的に関心を持っています。本論文では、このような目的に対して拡散モデルを直接最適化するための強化学習手法を調査します。ノイズ除去を多段階の意思決定問題として定式化することで、報酬重み付き尤度アプローチよりも効果的なポリシー勾配アルゴリズムのクラスを可能にすることを説明します。これをノイズ除去拡散ポリシー最適化（DDPO）と呼びます。実験的に、DDPOはテキストから画像への拡散モデルを、プロンプトでは表現が難しい画像圧縮率や、人間のフィードバックに基づく美的品質といった目的に適応させることができます。最後に、DDPOが視覚言語モデルからのフィードバックを用いて、追加のデータ収集や人間によるアノテーションを必要とせずに、プロンプトと画像の整合性を改善できることを示します。

English

Diffusion models are a class of flexible generative models trained with an approximation to the log-likelihood objective. However, most use cases of diffusion models are not concerned with likelihoods, but instead with downstream objectives such as human-perceived image quality or drug effectiveness. In this paper, we investigate reinforcement learning methods for directly optimizing diffusion models for such objectives. We describe how posing denoising as a multi-step decision-making problem enables a class of policy gradient algorithms, which we refer to as denoising diffusion policy optimization (DDPO), that are more effective than alternative reward-weighted likelihood approaches. Empirically, DDPO is able to adapt text-to-image diffusion models to objectives that are difficult to express via prompting, such as image compressibility, and those derived from human feedback, such as aesthetic quality. Finally, we show that DDPO can improve prompt-image alignment using feedback from a vision-language model without the need for additional data collection or human annotation.

拡散モデルの強化学習によるトレーニング

Training Diffusion Models with Reinforcement Learning

要旨

Support