Bootstrapping di Modelli Linguistici con Ricompense Implicite DPO

Abstract

L'allineamento umano nei grandi modelli linguistici (LLM) è un'area di ricerca attiva. Un recente lavoro rivoluzionario, l'ottimizzazione diretta delle preferenze (DPO), ha notevolmente semplificato il processo rispetto ai precedenti approcci di apprendimento per rinforzo basato sul feedback umano (RLHF), bypassando la fase di apprendimento della ricompensa in RLHF. DPO, dopo l'addestramento, fornisce un modello di ricompensa implicito. In questo lavoro, facciamo una nuova osservazione: questo modello di ricompensa implicito può essere utilizzato in modo autonomo per allineare ulteriormente l'LLM. Il nostro approccio consiste nell'utilizzare le ricompense di un modello LLM corrente per costruire un dataset di preferenze, che viene poi utilizzato in successivi cicli di DPO. Incorporiamo perfezionamenti che riducono il bias legato alla lunghezza delle risposte e migliorano la qualità del dataset di preferenze per ulteriormente affinare il nostro metodo. Il nostro approccio, denominato auto-allineamento con ricompense implicite DPO (DICE), mostra notevoli miglioramenti nell'allineamento e ottiene prestazioni superiori rispetto a Gemini Pro su AlpacaEval 2, raggiungendo un tasso di vittoria controllato per lunghezza del 27,55% contro GPT-4 Turbo, ma con solo 8 miliardi di parametri e senza feedback esterno. Il nostro codice è disponibile all'indirizzo https://github.com/sail-sg/dice.

English

Human alignment in large language models (LLMs) is an active area of research. A recent groundbreaking work, direct preference optimization (DPO), has greatly simplified the process from past work in reinforcement learning from human feedback (RLHF) by bypassing the reward learning stage in RLHF. DPO, after training, provides an implicit reward model. In this work, we make a novel observation that this implicit reward model can by itself be used in a bootstrapping fashion to further align the LLM. Our approach is to use the rewards from a current LLM model to construct a preference dataset, which is then used in subsequent DPO rounds. We incorporate refinements that debias the length of the responses and improve the quality of the preference dataset to further improve our approach. Our approach, named self-alignment with DPO ImpliCit rEwards (DICE), shows great improvements in alignment and achieves superior performance than Gemini Pro on AlpacaEval 2, reaching 27.55% length-controlled win rate against GPT-4 Turbo, but with only 8B parameters and no external feedback. Our code is available at https://github.com/sail-sg/dice.

Bootstrapping di Modelli Linguistici con Ricompense Implicite DPO

Bootstrapping Language Models with DPO Implicit Rewards

Abstract

Support