Diffusiemodellen trainen met Reinforcement Learning

Training Diffusion Models with Reinforcement Learning

May 22, 2023

Auteurs: Kevin Black, Michael Janner, Yilun Du, Ilya Kostrikov, Sergey Levine

cs.AI

Samenvatting

Diffusiemodellen vormen een klasse van flexibele generatieve modellen die getraind worden met een benadering van het log-waarschijnlijkheidsdoel. Echter, de meeste toepassingen van diffusiemodellen richten zich niet op waarschijnlijkheden, maar op downstream-doelen zoals door mensen waargenomen beeldkwaliteit of geneesmiddelwerking. In dit artikel onderzoeken we methoden voor reinforcement learning om diffusiemodellen rechtstreeks te optimaliseren voor dergelijke doelen. We beschrijven hoe het formuleren van ruisverwijdering als een meerstaps beslissingsprobleem een klasse van policy gradient-algoritmen mogelijk maakt, die we denoising diffusion policy optimization (DDPO) noemen, en die effectiever zijn dan alternatieve benaderingen met beloning-gewogen waarschijnlijkheid. Empirisch gezien is DDPO in staat om tekst-naar-beeld diffusiemodellen aan te passen aan doelen die moeilijk uit te drukken zijn via prompts, zoals beeldcompressie, en doelen die afgeleid zijn van menselijke feedback, zoals esthetische kwaliteit. Tot slot tonen we aan dat DDPO de afstemming tussen prompt en beeld kan verbeteren met behulp van feedback van een visie-taalmodel, zonder dat er aanvullende gegevensverzameling of menselijke annotatie nodig is.

English

Diffusion models are a class of flexible generative models trained with an approximation to the log-likelihood objective. However, most use cases of diffusion models are not concerned with likelihoods, but instead with downstream objectives such as human-perceived image quality or drug effectiveness. In this paper, we investigate reinforcement learning methods for directly optimizing diffusion models for such objectives. We describe how posing denoising as a multi-step decision-making problem enables a class of policy gradient algorithms, which we refer to as denoising diffusion policy optimization (DDPO), that are more effective than alternative reward-weighted likelihood approaches. Empirically, DDPO is able to adapt text-to-image diffusion models to objectives that are difficult to express via prompting, such as image compressibility, and those derived from human feedback, such as aesthetic quality. Finally, we show that DDPO can improve prompt-image alignment using feedback from a vision-language model without the need for additional data collection or human annotation.