Direkte Ausrichtung von Sprachmodellen durch Online-KI-Feedback

Direct Language Model Alignment from Online AI Feedback

February 7, 2024

Autoren: Shangmin Guo, Biao Zhang, Tianlin Liu, Tianqi Liu, Misha Khalman, Felipe Llinares, Alexandre Rame, Thomas Mesnard, Yao Zhao, Bilal Piot, Johan Ferret, Mathieu Blondel

cs.AI

Zusammenfassung

Direkte Ausrichtung basierend auf Präferenzen (Direct Alignment from Preferences, DAP) Methoden, wie beispielsweise DPO, sind kürzlich als effiziente Alternativen zum Reinforcement Learning from Human Feedback (RLHF) aufgetaucht, die kein separates Belohnungsmodell benötigen. Die in DAP-Methoden verwendeten Präferenzdatensätze werden jedoch in der Regel vor dem Training gesammelt und nie aktualisiert, sodass das Feedback rein offline erfolgt. Darüber hinaus werden die Antworten in diesen Datensätzen oft von einem Sprachmodell abgetastet, das sich von dem zu alignenden Modell unterscheidet, und da sich das Modell während des Trainings weiterentwickelt, ist die Ausrichtungsphase zwangsläufig off-policy. In dieser Studie postulieren wir, dass Online-Feedback entscheidend ist und DAP-Methoden verbessert. Unsere Methode, Online AI Feedback (OAIF), verwendet ein LLM als Annotator: In jeder Trainingsiteration werden zwei Antworten aus dem aktuellen Modell abgetastet und der LLM-Annotator aufgefordert, die bevorzugte Antwort auszuwählen, wodurch Online-Feedback bereitgestellt wird. Trotz ihrer Einfachheit zeigen wir durch menschliche Bewertungen in mehreren Aufgaben, dass OAIF sowohl offline DAP- als auch RLHF-Methoden übertrifft. Wir zeigen weiter, dass das in OAIF genutzte Feedback leicht steuerbar ist, indem dem LLM-Annotator Anweisungen gegeben werden.

English

Direct alignment from preferences (DAP) methods, such as DPO, have recently emerged as efficient alternatives to reinforcement learning from human feedback (RLHF), that do not require a separate reward model. However, the preference datasets used in DAP methods are usually collected ahead of training and never updated, thus the feedback is purely offline. Moreover, responses in these datasets are often sampled from a language model distinct from the one being aligned, and since the model evolves over training, the alignment phase is inevitably off-policy. In this study, we posit that online feedback is key and improves DAP methods. Our method, online AI feedback (OAIF), uses an LLM as annotator: on each training iteration, we sample two responses from the current model and prompt the LLM annotator to choose which one is preferred, thus providing online feedback. Despite its simplicity, we demonstrate via human evaluation in several tasks that OAIF outperforms both offline DAP and RLHF methods. We further show that the feedback leveraged in OAIF is easily controllable, via instruction prompts to the LLM annotator.