Den optimalen Punkt finden: Konstruktion von Präferenzdaten für die Skalierung der Präferenzoptimierung

Finding the Sweet Spot: Preference Data Construction for Scaling Preference Optimization

February 24, 2025

Autoren: Yao Xiao, Hai Ye, Linyao Chen, Hwee Tou Ng, Lidong Bing, Xiaoli Li, Roy Ka-wei Lee

cs.AI

Zusammenfassung

Iterative Datengenerierung und Modell-Neuausrichtung werden häufig eingesetzt, um große Sprachmodelle (LLMs) auszurichten. Dabei wird typischerweise ein Policy-Modell verwendet, um on-policy Antworten zu generieren, und ein Belohnungsmodell, um die Auswahl der Trainingsdaten zu steuern. Direct Preference Optimization (DPO) verbessert diesen Prozess weiter, indem es Präferenzpaare aus ausgewählten und abgelehnten Antworten konstruiert. In dieser Arbeit streben wir an, die Anzahl der on-policy Stichproben durch wiederholte Zufallsstichproben zu erhöhen, um die Ausrichtungsleistung zu verbessern. Die herkömmliche Praxis wählt die Stichprobe mit der höchsten Belohnung als ausgewählt und die mit der niedrigsten Belohnung als abgelehnt für DPO aus. Unsere Experimente zeigen jedoch, dass diese Strategie zu einer Leistungsverschlechterung führt, wenn die Stichprobengröße zunimmt. Um dies zu beheben, untersuchen wir die Konstruktion von Präferenzdaten durch die Linse der zugrunde liegenden Normalverteilung der Stichprobenbelohnungen. Wir kategorisieren den Belohnungsraum in sieben repräsentative Punkte und untersuchen systematisch alle 21 (C_7^2) paarweisen Kombinationen. Durch Bewertungen an vier Modellen mit AlpacaEval 2 stellen wir fest, dass die Auswahl der abgelehnten Antwort an der Belohnungsposition mu - 2sigma anstelle der minimalen Belohnung entscheidend für eine optimale Leistung ist. Schließlich führen wir eine skalierbare Strategie zur Konstruktion von Präferenzdaten ein, die die Modellleistung konsistent verbessert, wenn der Stichprobenumfang zunimmt.

English

Iterative data generation and model retraining are widely used to align large language models (LLMs). It typically involves a policy model to generate on-policy responses and a reward model to guide training data selection. Direct Preference Optimization (DPO) further enhances this process by constructing preference pairs of chosen and rejected responses. In this work, we aim to scale up the number of on-policy samples via repeated random sampling to improve alignment performance. Conventional practice selects the sample with the highest reward as chosen and the lowest as rejected for DPO. However, our experiments reveal that this strategy leads to a decline in performance as the sample size increases. To address this, we investigate preference data construction through the lens of underlying normal distribution of sample rewards. We categorize the reward space into seven representative points and systematically explore all 21 (C_7^2) pairwise combinations. Through evaluations on four models using AlpacaEval 2, we find that selecting the rejected response at reward position mu - 2sigma rather than the minimum reward, is crucial for optimal performance. We finally introduce a scalable preference data construction strategy that consistently enhances model performance as the sample scale increases.