Utilizando Feedback Humano para Ajustar Modelos de Difusão sem Nenhum Modelo de Recompensa

Using Human Feedback to Fine-tune Diffusion Models without Any Reward Model

November 22, 2023

Autores: Kai Yang, Jian Tao, Jiafei Lyu, Chunjiang Ge, Jiaxin Chen, Qimai Li, Weihan Shen, Xiaolong Zhu, Xiu Li

cs.AI

Resumo

O uso de aprendizado por reforço com feedback humano (RLHF) tem mostrado um potencial significativo no ajuste fino de modelos de difusão. Métodos anteriores começam treinando um modelo de recompensa que se alinha com as preferências humanas, para então utilizar técnicas de RL para ajustar os modelos subjacentes. No entanto, a criação de um modelo de recompensa eficiente exige conjuntos de dados extensos, arquitetura ideal e ajuste manual de hiperparâmetros, tornando o processo demorado e custoso. O método de otimização direta de preferências (DPO), eficaz no ajuste fino de grandes modelos de linguagem, elimina a necessidade de um modelo de recompensa. Contudo, o alto requisito de memória GPU do processo de remoção de ruído dos modelos de difusão impede a aplicação direta do método DPO. Para resolver esse problema, introduzimos o método de Otimização Direta de Política de Difusão de Remoção de Ruído (D3PO) para ajustar diretamente os modelos de difusão. A análise teórica demonstra que, embora o D3PO omita o treinamento de um modelo de recompensa, ele funciona efetivamente como o modelo de recompensa ideal treinado com dados de feedback humano para guiar o processo de aprendizado. Essa abordagem não requer o treinamento de um modelo de recompensa, sendo mais direta, econômica e minimizando a sobrecarga computacional. Nos experimentos, nosso método utiliza a escala relativa dos objetivos como um proxy para as preferências humanas, entregando resultados comparáveis aos métodos que usam recompensas verdadeiras. Além disso, o D3PO demonstra a capacidade de reduzir taxas de distorção de imagens e gerar imagens mais seguras, superando desafios que carecem de modelos de recompensa robustos.

English

Using reinforcement learning with human feedback (RLHF) has shown significant promise in fine-tuning diffusion models. Previous methods start by training a reward model that aligns with human preferences, then leverage RL techniques to fine-tune the underlying models. However, crafting an efficient reward model demands extensive datasets, optimal architecture, and manual hyperparameter tuning, making the process both time and cost-intensive. The direct preference optimization (DPO) method, effective in fine-tuning large language models, eliminates the necessity for a reward model. However, the extensive GPU memory requirement of the diffusion model's denoising process hinders the direct application of the DPO method. To address this issue, we introduce the Direct Preference for Denoising Diffusion Policy Optimization (D3PO) method to directly fine-tune diffusion models. The theoretical analysis demonstrates that although D3PO omits training a reward model, it effectively functions as the optimal reward model trained using human feedback data to guide the learning process. This approach requires no training of a reward model, proving to be more direct, cost-effective, and minimizing computational overhead. In experiments, our method uses the relative scale of objectives as a proxy for human preference, delivering comparable results to methods using ground-truth rewards. Moreover, D3PO demonstrates the ability to reduce image distortion rates and generate safer images, overcoming challenges lacking robust reward models.