最適化のスイートスポットを見つける：スケーリングのための選好データ構築

Finding the Sweet Spot: Preference Data Construction for Scaling Preference Optimization

February 24, 2025

著者: Yao Xiao, Hai Ye, Linyao Chen, Hwee Tou Ng, Lidong Bing, Xiaoli Li, Roy Ka-wei Lee

cs.AI

要旨

大規模言語モデル（LLM）のアライメントには、反復的なデータ生成とモデルの再学習が広く用いられています。これには通常、オンラインポリシーに基づく応答を生成するポリシーモデルと、学習データの選択を導く報酬モデルが関与します。Direct Preference Optimization（DPO）は、選択された応答と拒否された応答のペアを構築することで、このプロセスをさらに強化します。本研究では、ランダムサンプリングを繰り返すことでオンラインポリシーサンプルの数をスケールアップし、アライメント性能の向上を目指します。従来の手法では、DPOにおいて最も高い報酬を持つサンプルを選択し、最も低い報酬を持つサンプルを拒否します。しかし、我々の実験では、サンプルサイズが増加するにつれてこの戦略が性能の低下を招くことが明らかになりました。この問題に対処するため、サンプル報酬の正規分布に基づいて選好データの構築を調査します。報酬空間を7つの代表点に分類し、21通り（C_7^2）のペアワイズ組み合わせを体系的に探索します。AlpacaEval 2を用いた4つのモデルでの評価を通じて、最小報酬ではなく、報酬位置mu - 2sigmaで拒否された応答を選択することが最適な性能を発揮するために重要であることを発見しました。最後に、サンプルスケールが増加するにつれてモデル性能を一貫して向上させるスケーラブルな選好データ構築戦略を提案します。

English

Iterative data generation and model retraining are widely used to align large language models (LLMs). It typically involves a policy model to generate on-policy responses and a reward model to guide training data selection. Direct Preference Optimization (DPO) further enhances this process by constructing preference pairs of chosen and rejected responses. In this work, we aim to scale up the number of on-policy samples via repeated random sampling to improve alignment performance. Conventional practice selects the sample with the highest reward as chosen and the lowest as rejected for DPO. However, our experiments reveal that this strategy leads to a decline in performance as the sample size increases. To address this, we investigate preference data construction through the lens of underlying normal distribution of sample rewards. We categorize the reward space into seven representative points and systematically explore all 21 (C_7^2) pairwise combinations. Through evaluations on four models using AlpacaEval 2, we find that selecting the rejected response at reward position mu - 2sigma rather than the minimum reward, is crucial for optimal performance. We finally introduce a scalable preference data construction strategy that consistently enhances model performance as the sample scale increases.