Обучение диффузионных моделей с использованием обучения с подкреплением

Training Diffusion Models with Reinforcement Learning

May 22, 2023

Авторы: Kevin Black, Michael Janner, Yilun Du, Ilya Kostrikov, Sergey Levine

cs.AI

Аннотация

Диффузионные модели представляют собой класс гибких генеративных моделей, обученных с использованием аппроксимации целевой функции логарифмического правдоподобия. Однако в большинстве случаев применения диффузионных моделей основное внимание уделяется не правдоподобию, а конечным целям, таким как воспринимаемое человеком качество изображений или эффективность лекарственных препаратов. В данной статье мы исследуем методы обучения с подкреплением для непосредственной оптимизации диффузионных моделей под такие цели. Мы описываем, как представление процесса удаления шума в виде многошаговой задачи принятия решений позволяет использовать класс алгоритмов градиента стратегии, которые мы называем оптимизацией стратегии удаления шума в диффузионных моделях (DDPO), и которые оказываются более эффективными, чем альтернативные подходы, основанные на взвешенном правдоподобии. Экспериментально показано, что DDPO способна адаптировать текстово-изобразительные диффузионные модели к целям, которые сложно выразить через промпты, таким как сжимаемость изображений, а также к целям, основанным на обратной связи от людей, например, эстетическому качеству. Наконец, мы демонстрируем, что DDPO может улучшить соответствие между промптом и изображением, используя обратную связь от модели обработки визуальной и текстовой информации, без необходимости сбора дополнительных данных или аннотирования человеком.

English

Diffusion models are a class of flexible generative models trained with an approximation to the log-likelihood objective. However, most use cases of diffusion models are not concerned with likelihoods, but instead with downstream objectives such as human-perceived image quality or drug effectiveness. In this paper, we investigate reinforcement learning methods for directly optimizing diffusion models for such objectives. We describe how posing denoising as a multi-step decision-making problem enables a class of policy gradient algorithms, which we refer to as denoising diffusion policy optimization (DDPO), that are more effective than alternative reward-weighted likelihood approaches. Empirically, DDPO is able to adapt text-to-image diffusion models to objectives that are difficult to express via prompting, such as image compressibility, and those derived from human feedback, such as aesthetic quality. Finally, we show that DDPO can improve prompt-image alignment using feedback from a vision-language model without the need for additional data collection or human annotation.