BPO: Online Voorkeursleren Optimaliseren door de Nabijheid van Gedrags-LLM te Respecteren

BPO: Supercharging Online Preference Learning by Adhering to the Proximity of Behavior LLM

June 18, 2024

Auteurs: Wenda Xu, Jiachen Li, William Yang Wang, Lei Li

cs.AI

Samenvatting

Direct alignment from preferences (DAP) is naar voren gekomen als een veelbelovend paradigma voor het afstemmen van grote taalmodellen (LLMs) op menselijke wensen op basis van vooraf verzamelde, offline voorkeursdatasets. Hoewel recente studies aangeven dat bestaande offline DAP-methoden direct kunnen profiteren van online trainingsvoorbeelden, benadrukken wij de noodzaak om specifieke online DAP-algoritmen te ontwikkelen om de kracht van online training volledig te benutten. Specifiek identificeren wij dat het geleerde LLM de nabijheid van het gedrags-LLM, dat de trainingsvoorbeelden verzamelt, moet behouden. Hiertoe stellen wij online Preference Optimization in de nabijheid van het Gedrags-LLM (BPO) voor, waarbij het belang van het construeren van een geschikt vertrouwensgebied voor LLM-afstemming wordt benadrukt. Wij voeren uitgebreide experimenten uit om de effectiviteit en toepasbaarheid van onze aanpak te valideren door deze te integreren met verschillende DAP-methoden, wat resulteert in significante prestatieverbeteringen over een breed scala aan taken bij training met dezelfde hoeveelheid voorkeursdata. Zelfs bij het introduceren van slechts één extra dataverzamelingsfase, verbetert onze online BPO de offline DAP-baseline van 72,0% naar 80,2% op TL;DR en van 82,2% naar 89,1% op Anthropic Helpfulness in termen van winrate ten opzichte van menselijke referentieteksten.

English

Direct alignment from preferences (DAP) has emerged as a promising paradigm for aligning large language models (LLMs) to human desiderata from pre-collected, offline preference datasets. While recent studies indicate that existing offline DAP methods can directly benefit from online training samples, we highlight the need to develop specific online DAP algorithms to fully harness the power of online training. Specifically, we identify that the learned LLM should adhere to the proximity of the behavior LLM, which collects the training samples. To this end, we propose online Preference Optimization in proximity to the Behavior LLM (BPO), emphasizing the importance of constructing a proper trust region for LLM alignment. We conduct extensive experiments to validate the effectiveness and applicability of our approach by integrating it with various DAP methods, resulting in significant performance improvements across a wide range of tasks when training with the same amount of preference data. Even when only introducing one additional data collection phase, our online BPO improves its offline DAP baseline from 72.0% to 80.2% on TL;DR and from 82.2% to 89.1% on Anthropic Helpfulness in terms of win rate against human reference text.