Использование обратной связи от человека для тонкой настройки диффузионных моделей без применения модели вознаграждения

Using Human Feedback to Fine-tune Diffusion Models without Any Reward Model

November 22, 2023

Авторы: Kai Yang, Jian Tao, Jiafei Lyu, Chunjiang Ge, Jiaxin Chen, Qimai Li, Weihan Shen, Xiaolong Zhu, Xiu Li

cs.AI

Аннотация

Использование обучения с подкреплением с обратной связью от человека (RLHF) показало значительный потенциал в тонкой настройке диффузионных моделей. Предыдущие методы начинаются с обучения модели вознаграждения, которая соответствует человеческим предпочтениям, а затем используют техники обучения с подкреплением для тонкой настройки базовых моделей. Однако создание эффективной модели вознаграждения требует обширных наборов данных, оптимальной архитектуры и ручной настройки гиперпараметров, что делает процесс трудоемким и затратным. Метод прямой оптимизации предпочтений (DPO), эффективный для тонкой настройки больших языковых моделей, устраняет необходимость в модели вознаграждения. Однако значительные требования к памяти GPU в процессе удаления шума диффузионной модели препятствуют прямому применению метода DPO. Для решения этой проблемы мы представляем метод прямой оптимизации политики удаления шума с учетом предпочтений (D3PO), который позволяет напрямую настраивать диффузионные модели. Теоретический анализ показывает, что, хотя D3PO исключает обучение модели вознаграждения, он эффективно функционирует как оптимальная модель вознаграждения, обученная на данных с обратной связью от человека для управления процессом обучения. Этот подход не требует обучения модели вознаграждения, что делает его более прямым, экономически эффективным и минимизирует вычислительные затраты. В экспериментах наш метод использует относительную шкалу целей в качестве заместителя человеческих предпочтений, демонстрируя результаты, сопоставимые с методами, использующими истинные вознаграждения. Более того, D3PO демонстрирует способность снижать уровень искажений изображений и генерировать более безопасные изображения, преодолевая проблемы, связанные с отсутствием надежных моделей вознаграждения.

English

Using reinforcement learning with human feedback (RLHF) has shown significant promise in fine-tuning diffusion models. Previous methods start by training a reward model that aligns with human preferences, then leverage RL techniques to fine-tune the underlying models. However, crafting an efficient reward model demands extensive datasets, optimal architecture, and manual hyperparameter tuning, making the process both time and cost-intensive. The direct preference optimization (DPO) method, effective in fine-tuning large language models, eliminates the necessity for a reward model. However, the extensive GPU memory requirement of the diffusion model's denoising process hinders the direct application of the DPO method. To address this issue, we introduce the Direct Preference for Denoising Diffusion Policy Optimization (D3PO) method to directly fine-tune diffusion models. The theoretical analysis demonstrates that although D3PO omits training a reward model, it effectively functions as the optimal reward model trained using human feedback data to guide the learning process. This approach requires no training of a reward model, proving to be more direct, cost-effective, and minimizing computational overhead. In experiments, our method uses the relative scale of objectives as a proxy for human preference, delivering comparable results to methods using ground-truth rewards. Moreover, D3PO demonstrates the ability to reduce image distortion rates and generate safer images, overcoming challenges lacking robust reward models.