Directe uitlijning van taalmodel op basis van online AI-feedback

Direct Language Model Alignment from Online AI Feedback

February 7, 2024

Auteurs: Shangmin Guo, Biao Zhang, Tianlin Liu, Tianqi Liu, Misha Khalman, Felipe Llinares, Alexandre Rame, Thomas Mesnard, Yao Zhao, Bilal Piot, Johan Ferret, Mathieu Blondel

cs.AI

Samenvatting

Direct alignment from preferences (DAP)-methoden, zoals DPO, zijn recent naar voren gekomen als efficiënte alternatieven voor reinforcement learning from human feedback (RLHF), die geen apart beloningsmodel vereisen. De voorkeursdatasets die in DAP-methoden worden gebruikt, worden echter meestal voorafgaand aan de training verzameld en nooit bijgewerkt, waardoor de feedback puur offline is. Bovendien worden de reacties in deze datasets vaak gesamplet uit een taalmodel dat verschilt van het model dat wordt uitgelijnd, en aangezien het model tijdens de training evolueert, is de uitlijningsfase onvermijdelijk off-policy. In deze studie stellen we dat online feedback essentieel is en DAP-methoden verbetert. Onze methode, online AI feedback (OAIF), gebruikt een LLM als annotator: bij elke trainingsiteratie samplet we twee reacties van het huidige model en vragen we de LLM-annotator om te kiezen welke de voorkeur heeft, waardoor online feedback wordt geboden. Ondanks de eenvoud tonen we via menselijke evaluatie in verschillende taken aan dat OAIF zowel offline DAP- als RLHF-methoden overtreft. We laten verder zien dat de feedback die in OAIF wordt gebruikt eenvoudig te controleren is, via instructieprompts aan de LLM-annotator.

English

Direct alignment from preferences (DAP) methods, such as DPO, have recently emerged as efficient alternatives to reinforcement learning from human feedback (RLHF), that do not require a separate reward model. However, the preference datasets used in DAP methods are usually collected ahead of training and never updated, thus the feedback is purely offline. Moreover, responses in these datasets are often sampled from a language model distinct from the one being aligned, and since the model evolves over training, the alignment phase is inevitably off-policy. In this study, we posit that online feedback is key and improves DAP methods. Our method, online AI feedback (OAIF), uses an LLM as annotator: on each training iteration, we sample two responses from the current model and prompt the LLM annotator to choose which one is preferred, thus providing online feedback. Despite its simplicity, we demonstrate via human evaluation in several tasks that OAIF outperforms both offline DAP and RLHF methods. We further show that the feedback leveraged in OAIF is easily controllable, via instruction prompts to the LLM annotator.