Aprendizado por Reforço em Grande Escala para Modelos de Difusão

Large-scale Reinforcement Learning for Diffusion Models

January 20, 2024

Autores: Yinan Zhang, Eric Tzeng, Yilun Du, Dmitry Kislyuk

cs.AI

Resumo

Modelos de difusão texto-imagem são uma classe de modelos generativos profundos que demonstraram uma capacidade impressionante para geração de imagens de alta qualidade. No entanto, esses modelos são suscetíveis a vieses implícitos que surgem de pares texto-imagem em escala da web e podem modelar de forma imprecisa aspectos das imagens que nos importam. Isso pode resultar em amostras subótimas, viés do modelo e imagens que não estão alinhadas com a ética e as preferências humanas. Neste artigo, apresentamos um algoritmo escalável e eficaz para melhorar modelos de difusão utilizando Aprendizado por Reforço (RL) em um conjunto diversificado de funções de recompensa, como preferência humana, composicionalidade e justiça, aplicadas a milhões de imagens. Demonstramos como nossa abordagem supera substancialmente os métodos existentes para alinhar modelos de difusão com as preferências humanas. Além disso, ilustramos como isso melhora significativamente modelos pré-treinados de Stable Diffusion (SD), gerando amostras preferidas por humanos em 80,3% das vezes em comparação com as do modelo SD base, ao mesmo tempo em que melhora tanto a composição quanto a diversidade das amostras geradas.

English

Text-to-image diffusion models are a class of deep generative models that have demonstrated an impressive capacity for high-quality image generation. However, these models are susceptible to implicit biases that arise from web-scale text-image training pairs and may inaccurately model aspects of images we care about. This can result in suboptimal samples, model bias, and images that do not align with human ethics and preferences. In this paper, we present an effective scalable algorithm to improve diffusion models using Reinforcement Learning (RL) across a diverse set of reward functions, such as human preference, compositionality, and fairness over millions of images. We illustrate how our approach substantially outperforms existing methods for aligning diffusion models with human preferences. We further illustrate how this substantially improves pretrained Stable Diffusion (SD) models, generating samples that are preferred by humans 80.3% of the time over those from the base SD model while simultaneously improving both the composition and diversity of generated samples.