대규모 확산 모델을 위한 강화 학습

초록

텍스트-이미지 확산 모델은 고품질 이미지 생성에서 인상적인 능력을 보여주는 심층 생성 모델의 한 종류입니다. 그러나 이러한 모델은 웹 규모의 텍스트-이미지 학습 쌍에서 발생하는 암묵적 편향에 취약하며, 우리가 중요하게 여기는 이미지의 측면을 부정확하게 모델링할 수 있습니다. 이는 최적이 아닌 샘플, 모델 편향, 그리고 인간의 윤리와 선호도와 일치하지 않는 이미지를 초래할 수 있습니다. 본 논문에서는 인간 선호도, 구성성, 공정성과 같은 다양한 보상 함수에 걸쳐 강화 학습(RL)을 사용하여 확산 모델을 개선하는 효과적이고 확장 가능한 알고리즘을 제시합니다. 우리의 접근 방식이 인간 선호도와 확산 모델을 정렬하는 기존 방법을 크게 능가하는 방식을 보여줍니다. 또한, 이 방법이 사전 학습된 Stable Diffusion(SD) 모델을 크게 개선하여, 기본 SD 모델에서 생성된 샘플 대비 80.3%의 경우에서 인간이 선호하는 샘플을 생성하면서 동시에 생성된 샘플의 구성과 다양성을 모두 향상시키는 것을 보여줍니다.

English

Text-to-image diffusion models are a class of deep generative models that have demonstrated an impressive capacity for high-quality image generation. However, these models are susceptible to implicit biases that arise from web-scale text-image training pairs and may inaccurately model aspects of images we care about. This can result in suboptimal samples, model bias, and images that do not align with human ethics and preferences. In this paper, we present an effective scalable algorithm to improve diffusion models using Reinforcement Learning (RL) across a diverse set of reward functions, such as human preference, compositionality, and fairness over millions of images. We illustrate how our approach substantially outperforms existing methods for aligning diffusion models with human preferences. We further illustrate how this substantially improves pretrained Stable Diffusion (SD) models, generating samples that are preferred by humans 80.3% of the time over those from the base SD model while simultaneously improving both the composition and diversity of generated samples.

대규모 확산 모델을 위한 강화 학습

Large-scale Reinforcement Learning for Diffusion Models

초록

Support