Alinhamento Direto de Modelos de Linguagem a partir de Feedback Online de IA

Direct Language Model Alignment from Online AI Feedback

February 7, 2024

Autores: Shangmin Guo, Biao Zhang, Tianlin Liu, Tianqi Liu, Misha Khalman, Felipe Llinares, Alexandre Rame, Thomas Mesnard, Yao Zhao, Bilal Piot, Johan Ferret, Mathieu Blondel

cs.AI

Resumo

Métodos de alinhamento direto a partir de preferências (DAP), como o DPO, surgiram recentemente como alternativas eficientes ao aprendizado por reforço com feedback humano (RLHF), que não exigem um modelo de recompensa separado. No entanto, os conjuntos de dados de preferências usados em métodos DAP geralmente são coletados antes do treinamento e nunca são atualizados, tornando o feedback puramente offline. Além disso, as respostas nesses conjuntos de dados são frequentemente amostradas de um modelo de linguagem distinto daquele que está sendo alinhado, e como o modelo evolui durante o treinamento, a fase de alinhamento é inevitavelmente off-policy. Neste estudo, propomos que o feedback online é essencial e melhora os métodos DAP. Nosso método, feedback de IA online (OAIF), utiliza um LLM como anotador: em cada iteração de treinamento, amostramos duas respostas do modelo atual e solicitamos que o LLM anotador escolha qual é preferida, fornecendo assim feedback online. Apesar de sua simplicidade, demonstramos por meio de avaliação humana em várias tarefas que o OAIF supera tanto os métodos DAP offline quanto os RLHF. Além disso, mostramos que o feedback utilizado no OAIF é facilmente controlável, por meio de instruções fornecidas ao LLM anotador.

English

Direct alignment from preferences (DAP) methods, such as DPO, have recently emerged as efficient alternatives to reinforcement learning from human feedback (RLHF), that do not require a separate reward model. However, the preference datasets used in DAP methods are usually collected ahead of training and never updated, thus the feedback is purely offline. Moreover, responses in these datasets are often sampled from a language model distinct from the one being aligned, and since the model evolves over training, the alignment phase is inevitably off-policy. In this study, we posit that online feedback is key and improves DAP methods. Our method, online AI feedback (OAIF), uses an LLM as annotator: on each training iteration, we sample two responses from the current model and prompt the LLM annotator to choose which one is preferred, thus providing online feedback. Despite its simplicity, we demonstrate via human evaluation in several tasks that OAIF outperforms both offline DAP and RLHF methods. We further show that the feedback leveraged in OAIF is easily controllable, via instruction prompts to the LLM annotator.