Allineamento diretto del modello linguistico tramite feedback online dell'IA

Direct Language Model Alignment from Online AI Feedback

February 7, 2024

Autori: Shangmin Guo, Biao Zhang, Tianlin Liu, Tianqi Liu, Misha Khalman, Felipe Llinares, Alexandre Rame, Thomas Mesnard, Yao Zhao, Bilal Piot, Johan Ferret, Mathieu Blondel

cs.AI

Abstract

I metodi di allineamento diretto dalle preferenze (DAP), come il DPO, sono emersi recentemente come alternative efficienti al reinforcement learning con feedback umano (RLHF), che non richiedono un modello di ricompensa separato. Tuttavia, i dataset di preferenze utilizzati nei metodi DAP sono generalmente raccolti prima dell'addestramento e non vengono mai aggiornati, rendendo il feedback puramente offline. Inoltre, le risposte in questi dataset sono spesso campionate da un modello linguistico diverso da quello che si sta allineando, e poiché il modello evolve durante l'addestramento, la fase di allineamento è inevitabilmente off-policy. In questo studio, ipotizziamo che il feedback online sia fondamentale e migliori i metodi DAP. Il nostro metodo, feedback online da intelligenza artificiale (OAIF), utilizza un LLM come annotatore: in ogni iterazione di addestramento, campioniamo due risposte dal modello corrente e chiediamo all'annotatore LLM di scegliere quale sia preferita, fornendo così un feedback online. Nonostante la sua semplicità, dimostriamo attraverso valutazioni umane in diversi compiti che OAIF supera sia i metodi DAP offline che i metodi RLHF. Inoltre, mostriamo che il feedback utilizzato in OAIF è facilmente controllabile, tramite prompt di istruzione all'annotatore LLM.

English

Direct alignment from preferences (DAP) methods, such as DPO, have recently emerged as efficient alternatives to reinforcement learning from human feedback (RLHF), that do not require a separate reward model. However, the preference datasets used in DAP methods are usually collected ahead of training and never updated, thus the feedback is purely offline. Moreover, responses in these datasets are often sampled from a language model distinct from the one being aligned, and since the model evolves over training, the alignment phase is inevitably off-policy. In this study, we posit that online feedback is key and improves DAP methods. Our method, online AI feedback (OAIF), uses an LLM as annotator: on each training iteration, we sample two responses from the current model and prompt the LLM annotator to choose which one is preferred, thus providing online feedback. Despite its simplicity, we demonstrate via human evaluation in several tasks that OAIF outperforms both offline DAP and RLHF methods. We further show that the feedback leveraged in OAIF is easily controllable, via instruction prompts to the LLM annotator.