BPO: Potenziamento dell'Apprendimento delle Preferenze Online attraverso l'Adesione alla Prossimità del Comportamento LLM
BPO: Supercharging Online Preference Learning by Adhering to the Proximity of Behavior LLM
June 18, 2024
Autori: Wenda Xu, Jiachen Li, William Yang Wang, Lei Li
cs.AI
Abstract
L'allineamento diretto dalle preferenze (DAP) è emerso come un paradigma promettente per allineare i grandi modelli linguistici (LLM) ai desiderata umani a partire da dataset di preferenze pre-raccolti e offline. Mentre studi recenti indicano che i metodi DAP offline esistenti possono trarre beneficio diretto da campioni di addestramento online, sottolineiamo la necessità di sviluppare algoritmi DAP online specifici per sfruttare appieno il potenziale dell'addestramento online. In particolare, identifichiamo che il LLM appreso dovrebbe aderire alla prossimità del LLM comportamentale, che raccoglie i campioni di addestramento. A tal fine, proponiamo l'ottimizzazione delle preferenze online in prossimità del LLM comportamentale (BPO), enfatizzando l'importanza di costruire una regione di fiducia appropriata per l'allineamento dei LLM.
Abbiamo condotto esperimenti estesi per validare l'efficacia e l'applicabilità del nostro approccio integrandolo con vari metodi DAP, ottenendo miglioramenti significativi delle prestazioni su un'ampia gamma di task quando si addestra con la stessa quantità di dati di preferenza. Anche introducendo solo una fase aggiuntiva di raccolta dati, il nostro BPO online migliora la baseline DAP offline dal 72,0% all'80,2% su TL;DR e dall'82,2% all'89,1% su Anthropic Helpfulness in termini di tasso di vittoria rispetto al testo di riferimento umano.
English
Direct alignment from preferences (DAP) has emerged as a promising paradigm
for aligning large language models (LLMs) to human desiderata from
pre-collected, offline preference datasets. While recent studies indicate that
existing offline DAP methods can directly benefit from online training samples,
we highlight the need to develop specific online DAP algorithms to fully
harness the power of online training. Specifically, we identify that the
learned LLM should adhere to the proximity of the behavior LLM, which collects
the training samples. To this end, we propose online Preference Optimization in
proximity to the Behavior LLM (BPO), emphasizing the importance of constructing
a proper trust region for LLM alignment.
We conduct extensive experiments to validate the effectiveness and
applicability of our approach by integrating it with various DAP methods,
resulting in significant performance improvements across a wide range of tasks
when training with the same amount of preference data. Even when only
introducing one additional data collection phase, our online BPO improves its
offline DAP baseline from 72.0% to 80.2% on TL;DR and from 82.2% to 89.1% on
Anthropic Helpfulness in terms of win rate against human reference text.