大規模強化学習による拡散モデルの最適化

要旨

テキストから画像を生成する拡散モデルは、高品質な画像生成において驚異的な能力を発揮する深層生成モデルの一種です。しかし、これらのモデルはウェブ規模のテキスト-画像トレーニングペアから生じる暗黙のバイアスに影響を受けやすく、私たちが重視する画像の側面を不正確にモデル化する可能性があります。これにより、最適でないサンプル、モデルのバイアス、人間の倫理や嗜好に沿わない画像が生成されることがあります。本論文では、人間の嗜好、構成性、公平性など多様な報酬関数に基づいて、数百万枚の画像に対して強化学習（RL）を用いて拡散モデルを改善する効果的でスケーラブルなアルゴリズムを提案します。私たちのアプローチが、拡散モデルを人間の嗜好に合わせる既存の手法を大幅に上回ることを示します。さらに、この手法が事前学習済みのStable Diffusion（SD）モデルを大幅に改善し、ベースのSDモデルから生成されたサンプルよりも80.3%の確率で人間に好まれるサンプルを生成すると同時に、生成されたサンプルの構成と多様性の両方を向上させることを実証します。

English

Text-to-image diffusion models are a class of deep generative models that have demonstrated an impressive capacity for high-quality image generation. However, these models are susceptible to implicit biases that arise from web-scale text-image training pairs and may inaccurately model aspects of images we care about. This can result in suboptimal samples, model bias, and images that do not align with human ethics and preferences. In this paper, we present an effective scalable algorithm to improve diffusion models using Reinforcement Learning (RL) across a diverse set of reward functions, such as human preference, compositionality, and fairness over millions of images. We illustrate how our approach substantially outperforms existing methods for aligning diffusion models with human preferences. We further illustrate how this substantially improves pretrained Stable Diffusion (SD) models, generating samples that are preferred by humans 80.3% of the time over those from the base SD model while simultaneously improving both the composition and diversity of generated samples.

大規模強化学習による拡散モデルの最適化

Large-scale Reinforcement Learning for Diffusion Models

要旨

Support