Прямое согласование языковой модели на основе онлайн-обратной связи от ИИ

Direct Language Model Alignment from Online AI Feedback

February 7, 2024

Авторы: Shangmin Guo, Biao Zhang, Tianlin Liu, Tianqi Liu, Misha Khalman, Felipe Llinares, Alexandre Rame, Thomas Mesnard, Yao Zhao, Bilal Piot, Johan Ferret, Mathieu Blondel

cs.AI

Аннотация

Методы прямого согласования на основе предпочтений (DAP), такие как DPO, недавно появились как эффективные альтернативы обучению с подкреплением на основе обратной связи от человека (RLHF), которые не требуют отдельной модели вознаграждения. Однако наборы данных с предпочтениями, используемые в методах DAP, обычно собираются заранее и никогда не обновляются, что делает обратную связь исключительно оффлайн. Более того, ответы в этих наборах данных часто выбираются из языковой модели, отличной от той, которая согласуется, и поскольку модель развивается в процессе обучения, фаза согласования неизбежно становится офф-политичной. В данном исследовании мы предполагаем, что онлайн-обратная связь является ключевой и улучшает методы DAP. Наш метод, онлайн-обратная связь от ИИ (OAIF), использует языковую модель в качестве аннотатора: на каждой итерации обучения мы выбираем два ответа из текущей модели и предлагаем языковой модели-аннотатору выбрать предпочтительный, тем самым предоставляя онлайн-обратную связь. Несмотря на свою простоту, мы демонстрируем с помощью оценки человеком в нескольких задачах, что OAIF превосходит как оффлайн-методы DAP, так и RLHF. Мы также показываем, что обратная связь, используемая в OAIF, легко управляема с помощью инструкций, задаваемых языковой модели-аннотатору.

English

Direct alignment from preferences (DAP) methods, such as DPO, have recently emerged as efficient alternatives to reinforcement learning from human feedback (RLHF), that do not require a separate reward model. However, the preference datasets used in DAP methods are usually collected ahead of training and never updated, thus the feedback is purely offline. Moreover, responses in these datasets are often sampled from a language model distinct from the one being aligned, and since the model evolves over training, the alignment phase is inevitably off-policy. In this study, we posit that online feedback is key and improves DAP methods. Our method, online AI feedback (OAIF), uses an LLM as annotator: on each training iteration, we sample two responses from the current model and prompt the LLM annotator to choose which one is preferred, thus providing online feedback. Despite its simplicity, we demonstrate via human evaluation in several tasks that OAIF outperforms both offline DAP and RLHF methods. We further show that the feedback leveraged in OAIF is easily controllable, via instruction prompts to the LLM annotator.