Menschliches Feedback zur Feinabstimmung von Diffusionsmodellen ohne Belohnungsmodell

Using Human Feedback to Fine-tune Diffusion Models without Any Reward Model

November 22, 2023

Autoren: Kai Yang, Jian Tao, Jiafei Lyu, Chunjiang Ge, Jiaxin Chen, Qimai Li, Weihan Shen, Xiaolong Zhu, Xiu Li

cs.AI

Zusammenfassung

Die Verwendung von Reinforcement Learning mit menschlichem Feedback (RLHF) hat vielversprechende Ergebnisse bei der Feinabstimmung von Diffusionsmodellen gezeigt. Bisherige Methoden beginnen mit dem Training eines Belohnungsmodells, das menschlichen Präferenzen entspricht, und nutzen dann RL-Techniken, um die zugrunde liegenden Modelle feinzutunen. Die Erstellung eines effizienten Belohnungsmodells erfordert jedoch umfangreiche Datensätze, eine optimale Architektur und manuelle Hyperparameter-Anpassung, was den Prozess sowohl zeit- als auch kostenintensiv macht. Die Methode der direkten Präferenzoptimierung (DPO), die sich bei der Feinabstimmung großer Sprachmodelle bewährt hat, eliminiert die Notwendigkeit eines Belohnungsmodells. Die umfangreichen GPU-Speicheranforderungen des Denoising-Prozesses von Diffusionsmodellen behindern jedoch die direkte Anwendung der DPO-Methode. Um dieses Problem zu lösen, führen wir die Methode der Direkten Präferenz für Denoising-Diffusions-Policy-Optimierung (D3PO) ein, um Diffusionsmodelle direkt feinzutunen. Die theoretische Analyse zeigt, dass D3PO zwar auf das Training eines Belohnungsmodells verzichtet, aber effektiv als das optimale Belohnungsmodell fungiert, das mit menschlichen Feedback-Daten trainiert wurde, um den Lernprozess zu steuern. Dieser Ansatz erfordert kein Training eines Belohnungsmodells, erweist sich als direkter, kosteneffizienter und minimiert den Rechenaufwand. In Experimenten verwendet unsere Methode die relative Skala der Ziele als Stellvertreter für menschliche Präferenzen und liefert vergleichbare Ergebnisse zu Methoden, die Ground-Truth-Belohnungen verwenden. Darüber hinaus zeigt D3PO die Fähigkeit, Bildverzerrungsraten zu reduzieren und sicherere Bilder zu erzeugen, wodurch Herausforderungen im Zusammenhang mit fehlenden robusten Belohnungsmodellen überwunden werden.

English

Using reinforcement learning with human feedback (RLHF) has shown significant promise in fine-tuning diffusion models. Previous methods start by training a reward model that aligns with human preferences, then leverage RL techniques to fine-tune the underlying models. However, crafting an efficient reward model demands extensive datasets, optimal architecture, and manual hyperparameter tuning, making the process both time and cost-intensive. The direct preference optimization (DPO) method, effective in fine-tuning large language models, eliminates the necessity for a reward model. However, the extensive GPU memory requirement of the diffusion model's denoising process hinders the direct application of the DPO method. To address this issue, we introduce the Direct Preference for Denoising Diffusion Policy Optimization (D3PO) method to directly fine-tune diffusion models. The theoretical analysis demonstrates that although D3PO omits training a reward model, it effectively functions as the optimal reward model trained using human feedback data to guide the learning process. This approach requires no training of a reward model, proving to be more direct, cost-effective, and minimizing computational overhead. In experiments, our method uses the relative scale of objectives as a proxy for human preference, delivering comparable results to methods using ground-truth rewards. Moreover, D3PO demonstrates the ability to reduce image distortion rates and generate safer images, overcoming challenges lacking robust reward models.