Treinando Modelos de Difusão com Aprendizado por Reforço
Training Diffusion Models with Reinforcement Learning
May 22, 2023
Autores: Kevin Black, Michael Janner, Yilun Du, Ilya Kostrikov, Sergey Levine
cs.AI
Resumo
Modelos de difusão são uma classe de modelos generativos flexíveis treinados com uma aproximação do objetivo de log-verossimilhança. No entanto, a maioria dos casos de uso de modelos de difusão não está preocupada com verossimilhanças, mas sim com objetivos subsequentes, como a qualidade de imagem percebida por humanos ou a eficácia de medicamentos. Neste artigo, investigamos métodos de aprendizado por reforço para otimizar diretamente modelos de difusão para tais objetivos. Descrevemos como a formulação da remoção de ruído como um problema de tomada de decisão em múltiplos passos permite uma classe de algoritmos de gradiente de política, que denominamos de otimização de política de difusão de remoção de ruído (DDPO), que são mais eficazes do que abordagens alternativas de verossimilhança ponderada por recompensa. Empiricamente, o DDPO é capaz de adaptar modelos de difusão de texto para imagem a objetivos que são difíceis de expressar por meio de prompts, como a compressibilidade de imagem, e aqueles derivados de feedback humano, como a qualidade estética. Por fim, mostramos que o DDPO pode melhorar o alinhamento entre prompt e imagem utilizando feedback de um modelo de visão e linguagem, sem a necessidade de coleta adicional de dados ou anotação humana.
English
Diffusion models are a class of flexible generative models trained with an
approximation to the log-likelihood objective. However, most use cases of
diffusion models are not concerned with likelihoods, but instead with
downstream objectives such as human-perceived image quality or drug
effectiveness. In this paper, we investigate reinforcement learning methods for
directly optimizing diffusion models for such objectives. We describe how
posing denoising as a multi-step decision-making problem enables a class of
policy gradient algorithms, which we refer to as denoising diffusion policy
optimization (DDPO), that are more effective than alternative reward-weighted
likelihood approaches. Empirically, DDPO is able to adapt text-to-image
diffusion models to objectives that are difficult to express via prompting,
such as image compressibility, and those derived from human feedback, such as
aesthetic quality. Finally, we show that DDPO can improve prompt-image
alignment using feedback from a vision-language model without the need for
additional data collection or human annotation.