Addestramento di Modelli di Diffusione con Apprendimento per Rinforzo

Training Diffusion Models with Reinforcement Learning

May 22, 2023

Autori: Kevin Black, Michael Janner, Yilun Du, Ilya Kostrikov, Sergey Levine

cs.AI

Abstract

I modelli di diffusione sono una classe di modelli generativi flessibili addestrati con un'approssimazione dell'obiettivo di massimizzazione della log-verosimiglianza. Tuttavia, la maggior parte degli utilizzi pratici dei modelli di diffusione non è interessata alle verosimiglianze, ma piuttosto a obiettivi downstream come la qualità percepita delle immagini dagli esseri umani o l'efficacia dei farmaci. In questo articolo, esploriamo metodi di apprendimento per rinforzo per ottimizzare direttamente i modelli di diffusione rispetto a tali obiettivi. Descriviamo come il porre il problema di denoising come un processo decisionale multi-step abilita una classe di algoritmi di policy gradient, che chiamiamo ottimizzazione della policy di diffusione del denoising (DDPO), che si dimostrano più efficaci rispetto ad approcci alternativi basati sulla verosimiglianza ponderata per ricompensa. Empiricamente, DDPO è in grado di adattare modelli di diffusione testo-immagine a obiettivi difficili da esprimere tramite prompt, come la comprimibilità delle immagini, e quelli derivati da feedback umano, come la qualità estetica. Infine, dimostriamo che DDPO può migliorare l'allineamento tra prompt e immagine utilizzando feedback da un modello visione-linguaggio senza la necessità di raccolta dati aggiuntiva o annotazioni umane.

English

Diffusion models are a class of flexible generative models trained with an approximation to the log-likelihood objective. However, most use cases of diffusion models are not concerned with likelihoods, but instead with downstream objectives such as human-perceived image quality or drug effectiveness. In this paper, we investigate reinforcement learning methods for directly optimizing diffusion models for such objectives. We describe how posing denoising as a multi-step decision-making problem enables a class of policy gradient algorithms, which we refer to as denoising diffusion policy optimization (DDPO), that are more effective than alternative reward-weighted likelihood approaches. Empirically, DDPO is able to adapt text-to-image diffusion models to objectives that are difficult to express via prompting, such as image compressibility, and those derived from human feedback, such as aesthetic quality. Finally, we show that DDPO can improve prompt-image alignment using feedback from a vision-language model without the need for additional data collection or human annotation.