Entrenamiento de Modelos de Difusión con Aprendizaje por Refuerzo

Training Diffusion Models with Reinforcement Learning

May 22, 2023

Autores: Kevin Black, Michael Janner, Yilun Du, Ilya Kostrikov, Sergey Levine

cs.AI

Resumen

Los modelos de difusión son una clase de modelos generativos flexibles entrenados con una aproximación al objetivo de máxima verosimilitud. Sin embargo, la mayoría de los casos de uso de los modelos de difusión no se centran en las verosimilitudes, sino en objetivos posteriores, como la calidad de la imagen percibida por humanos o la efectividad de fármacos. En este artículo, investigamos métodos de aprendizaje por refuerzo para optimizar directamente los modelos de difusión para dichos objetivos. Describimos cómo plantear la eliminación de ruido como un problema de toma de decisiones multi-etapa permite una clase de algoritmos de gradiente de políticas, a los que nos referimos como optimización de políticas de difusión de eliminación de ruido (DDPO, por sus siglas en inglés), que son más efectivos que enfoques alternativos basados en verosimilitud ponderada por recompensas. Empíricamente, DDPO es capaz de adaptar modelos de difusión de texto a imagen a objetivos que son difíciles de expresar mediante indicaciones, como la compresibilidad de la imagen, y aquellos derivados de la retroalimentación humana, como la calidad estética. Finalmente, demostramos que DDPO puede mejorar la alineación entre indicación e imagen utilizando retroalimentación de un modelo de visión y lenguaje, sin necesidad de recopilación adicional de datos o anotación humana.

English

Diffusion models are a class of flexible generative models trained with an approximation to the log-likelihood objective. However, most use cases of diffusion models are not concerned with likelihoods, but instead with downstream objectives such as human-perceived image quality or drug effectiveness. In this paper, we investigate reinforcement learning methods for directly optimizing diffusion models for such objectives. We describe how posing denoising as a multi-step decision-making problem enables a class of policy gradient algorithms, which we refer to as denoising diffusion policy optimization (DDPO), that are more effective than alternative reward-weighted likelihood approaches. Empirically, DDPO is able to adapt text-to-image diffusion models to objectives that are difficult to express via prompting, such as image compressibility, and those derived from human feedback, such as aesthetic quality. Finally, we show that DDPO can improve prompt-image alignment using feedback from a vision-language model without the need for additional data collection or human annotation.