Het vinden van het juiste evenwicht: het opbouwen van voorkeursgegevens voor het schalen van voorkeursoptimalisatie

Finding the Sweet Spot: Preference Data Construction for Scaling Preference Optimization

February 24, 2025

Auteurs: Yao Xiao, Hai Ye, Linyao Chen, Hwee Tou Ng, Lidong Bing, Xiaoli Li, Roy Ka-wei Lee

cs.AI

Samenvatting

Iteratieve datageneratie en modelhertraining worden veel gebruikt om grote taalmmodellen (LLMs) af te stemmen. Dit omvat doorgaans een beleidsmodel om on-policy reacties te genereren en een beloningsmodel om de selectie van trainingsdata te begeleiden. Direct Preference Optimization (DPO) verbetert dit proces verder door voorkeursparen van gekozen en afgewezen reacties te construeren. In dit werk streven we ernaar om het aantal on-policy samples op te schalen via herhaalde willekeurige steekproeven om de afstemmingsprestatie te verbeteren. De conventionele praktijk selecteert het sample met de hoogste beloning als gekozen en het laagste als afgewezen voor DPO. Onze experimenten tonen echter aan dat deze strategie leidt tot een prestatievermindering naarmate de steekproefomvang toeneemt. Om dit aan te pakken, onderzoeken we de constructie van voorkeursdata vanuit het perspectief van de onderliggende normale verdeling van samplebeloningen. We categoriseren de beloningsruimte in zeven representatieve punten en verkennen systematisch alle 21 (C_7^2) paarsgewijze combinaties. Door evaluaties op vier modellen met behulp van AlpacaEval 2, ontdekken we dat het selecteren van de afgewezen reactie op beloningspositie mu - 2sigma in plaats van de minimale beloning, cruciaal is voor optimale prestaties. We introduceren uiteindelijk een schaalbare strategie voor de constructie van voorkeursdata die de modelprestaties consistent verbetert naarmate de steekproefomvang toeneemt.

English

Iterative data generation and model retraining are widely used to align large language models (LLMs). It typically involves a policy model to generate on-policy responses and a reward model to guide training data selection. Direct Preference Optimization (DPO) further enhances this process by constructing preference pairs of chosen and rejected responses. In this work, we aim to scale up the number of on-policy samples via repeated random sampling to improve alignment performance. Conventional practice selects the sample with the highest reward as chosen and the lowest as rejected for DPO. However, our experiments reveal that this strategy leads to a decline in performance as the sample size increases. To address this, we investigate preference data construction through the lens of underlying normal distribution of sample rewards. We categorize the reward space into seven representative points and systematically explore all 21 (C_7^2) pairwise combinations. Through evaluations on four models using AlpacaEval 2, we find that selecting the rejected response at reward position mu - 2sigma rather than the minimum reward, is crucial for optimal performance. We finally introduce a scalable preference data construction strategy that consistently enhances model performance as the sample scale increases.