Amorçage des modèles de langage avec des récompenses implicites DPO

Bootstrapping Language Models with DPO Implicit Rewards

June 14, 2024

Auteurs: Changyu Chen, Zichen Liu, Chao Du, Tianyu Pang, Qian Liu, Arunesh Sinha, Pradeep Varakantham, Min Lin

cs.AI

Résumé

L'alignement humain dans les grands modèles de langage (LLM) est un domaine de recherche actif. Un travail récent et révolutionnaire, l'optimisation directe des préférences (DPO), a grandement simplifié le processus par rapport aux travaux antérieurs en apprentissage par renforcement à partir de retours humains (RLHF) en contournant l'étape d'apprentissage de la fonction de récompense dans RLHF. Après entraînement, DPO fournit un modèle de récompense implicite. Dans ce travail, nous faisons une observation novatrice selon laquelle ce modèle de récompense implicite peut lui-même être utilisé de manière itérative pour aligner davantage le LLM. Notre approche consiste à utiliser les récompenses d'un modèle LLM actuel pour construire un ensemble de données de préférences, qui est ensuite utilisé dans des itérations ultérieures de DPO. Nous intégrons des améliorations qui réduisent les biais liés à la longueur des réponses et améliorent la qualité de l'ensemble de données de préférences pour perfectionner notre approche. Notre méthode, nommée auto-alignement avec les récompenses implicites de DPO (DICE), montre des améliorations significatives en matière d'alignement et obtient des performances supérieures à Gemini Pro sur AlpacaEval 2, atteignant un taux de victoire contrôlé par la longueur de 27,55 % contre GPT-4 Turbo, mais avec seulement 8 milliards de paramètres et sans retour externe. Notre code est disponible à l'adresse https://github.com/sail-sg/dice.

English

Human alignment in large language models (LLMs) is an active area of research. A recent groundbreaking work, direct preference optimization (DPO), has greatly simplified the process from past work in reinforcement learning from human feedback (RLHF) by bypassing the reward learning stage in RLHF. DPO, after training, provides an implicit reward model. In this work, we make a novel observation that this implicit reward model can by itself be used in a bootstrapping fashion to further align the LLM. Our approach is to use the rewards from a current LLM model to construct a preference dataset, which is then used in subsequent DPO rounds. We incorporate refinements that debias the length of the responses and improve the quality of the preference dataset to further improve our approach. Our approach, named self-alignment with DPO ImpliCit rEwards (DICE), shows great improvements in alignment and achieves superior performance than Gemini Pro on AlpacaEval 2, reaching 27.55% length-controlled win rate against GPT-4 Turbo, but with only 8B parameters and no external feedback. Our code is available at https://github.com/sail-sg/dice.