BPO: Ускорение онлайн-обучения предпочтениям путем соблюдения близости поведения LLM.

BPO: Supercharging Online Preference Learning by Adhering to the Proximity of Behavior LLM

June 18, 2024

Авторы: Wenda Xu, Jiachen Li, William Yang Wang, Lei Li

cs.AI

Аннотация

Прямое выравнивание по предпочтениям (DAP) стало перспективной парадигмой для выравнивания больших языковых моделей (LLM) с человеческими желаниями из заранее собранных офлайн наборов данных о предпочтениях. В то время как недавние исследования показывают, что существующие методы офлайн DAP могут прямо получить выгоду от онлайн обучающих выборок, мы подчеркиваем необходимость разработки специфических онлайн алгоритмов DAP для полного использования мощи онлайн обучения. В частности, мы выявляем, что обученная LLM должна придерживаться близости к поведенческой LLM, которая собирает обучающие выборки. В этом контексте мы предлагаем онлайн Оптимизацию Предпочтений в близости к Поведенческой LLM (BPO), подчеркивая важность построения правильной области доверия для выравнивания LLM. Мы проводим обширные эксперименты для подтверждения эффективности и применимости нашего подхода, интегрируя его с различными методами DAP, что приводит к значительному улучшению производительности на широком спектре задач при обучении на том же объеме данных о предпочтениях. Даже при введении только одной дополнительной фазы сбора данных, наша онлайн BPO улучшает базовую линию офлайн DAP с 72,0% до 80,2% для TL;DR и с 82,2% до 89,1% для Anthropogenic Helpfulness в терминах победного коэффициента по сравнению с человеческим эталонным текстом.

English

Direct alignment from preferences (DAP) has emerged as a promising paradigm for aligning large language models (LLMs) to human desiderata from pre-collected, offline preference datasets. While recent studies indicate that existing offline DAP methods can directly benefit from online training samples, we highlight the need to develop specific online DAP algorithms to fully harness the power of online training. Specifically, we identify that the learned LLM should adhere to the proximity of the behavior LLM, which collects the training samples. To this end, we propose online Preference Optimization in proximity to the Behavior LLM (BPO), emphasizing the importance of constructing a proper trust region for LLM alignment. We conduct extensive experiments to validate the effectiveness and applicability of our approach by integrating it with various DAP methods, resulting in significant performance improvements across a wide range of tasks when training with the same amount of preference data. Even when only introducing one additional data collection phase, our online BPO improves its offline DAP baseline from 72.0% to 80.2% on TL;DR and from 82.2% to 89.1% on Anthropic Helpfulness in terms of win rate against human reference text.