BPO: 行動LLMの近接性に準拠することでオンライン選好学習を強化する

BPO: Supercharging Online Preference Learning by Adhering to the Proximity of Behavior LLM

June 18, 2024

著者: Wenda Xu, Jiachen Li, William Yang Wang, Lei Li

cs.AI

要旨

選好からの直接アライメント（DAP）は、事前に収集されたオフラインの選好データセットから大規模言語モデル（LLM）を人間の要望に沿わせるための有望なパラダイムとして登場しました。最近の研究では、既存のオフラインDAP手法がオンライントレーニングサンプルから直接恩恵を受けられることが示されていますが、オンライントレーニングの力を最大限に活用するためには、特定のオンラインDAPアルゴリズムを開発する必要があることを強調します。具体的には、学習されたLLMは、トレーニングサンプルを収集する行動LLMの近接性に従うべきであることを指摘します。この目的のために、行動LLMの近接性における選好最適化（BPO）を提案し、LLMアライメントのための適切な信頼領域を構築する重要性を強調します。 私たちは、このアプローチの有効性と適用性を検証するために、さまざまなDAP手法と統合して広範な実験を行い、同じ量の選好データでトレーニングした場合に、幅広いタスクで大幅な性能向上をもたらすことを確認しました。たとえ1回の追加データ収集フェーズを導入するだけであっても、私たちのオンラインBPOは、TL;DRでは72.0%から80.2%に、Anthropic Helpfulnessでは82.2%から89.1%に、人間の参照テキストに対する勝率においてオフラインDAPベースラインを改善しました。

English

Direct alignment from preferences (DAP) has emerged as a promising paradigm for aligning large language models (LLMs) to human desiderata from pre-collected, offline preference datasets. While recent studies indicate that existing offline DAP methods can directly benefit from online training samples, we highlight the need to develop specific online DAP algorithms to fully harness the power of online training. Specifically, we identify that the learned LLM should adhere to the proximity of the behavior LLM, which collects the training samples. To this end, we propose online Preference Optimization in proximity to the Behavior LLM (BPO), emphasizing the importance of constructing a proper trust region for LLM alignment. We conduct extensive experiments to validate the effectiveness and applicability of our approach by integrating it with various DAP methods, resulting in significant performance improvements across a wide range of tasks when training with the same amount of preference data. Even when only introducing one additional data collection phase, our online BPO improves its offline DAP baseline from 72.0% to 80.2% on TL;DR and from 82.2% to 89.1% on Anthropic Helpfulness in terms of win rate against human reference text.