Encontrando el Punto Óptimo: Construcción de Datos de Preferencia para la Escalabilidad de la Optimización de Preferencias

Finding the Sweet Spot: Preference Data Construction for Scaling Preference Optimization

February 24, 2025

Autores: Yao Xiao, Hai Ye, Linyao Chen, Hwee Tou Ng, Lidong Bing, Xiaoli Li, Roy Ka-wei Lee

cs.AI

Resumen

La generación iterativa de datos y el reentrenamiento de modelos son técnicas ampliamente utilizadas para alinear modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés). Este proceso generalmente implica un modelo de política para generar respuestas alineadas con la política y un modelo de recompensa para guiar la selección de datos de entrenamiento. La Optimización Directa de Preferencias (DPO, por sus siglas en inglés) mejora aún más este proceso al construir pares de preferencias entre respuestas seleccionadas y rechazadas. En este trabajo, buscamos escalar el número de muestras alineadas con la política mediante un muestreo aleatorio repetido para mejorar el rendimiento de la alineación. La práctica convencional selecciona la muestra con la recompensa más alta como elegida y la más baja como rechazada para DPO. Sin embargo, nuestros experimentos revelan que esta estrategia conduce a una disminución en el rendimiento a medida que aumenta el tamaño de la muestra. Para abordar esto, investigamos la construcción de datos de preferencias a través de la lente de la distribución normal subyacente de las recompensas de las muestras. Categorizamos el espacio de recompensas en siete puntos representativos y exploramos sistemáticamente las 21 combinaciones por pares (C_7^2). Mediante evaluaciones en cuatro modelos utilizando AlpacaEval 2, encontramos que seleccionar la respuesta rechazada en la posición de recompensa mu - 2sigma, en lugar de la recompensa mínima, es crucial para un rendimiento óptimo. Finalmente, introducimos una estrategia escalable para la construcción de datos de preferencias que mejora consistentemente el rendimiento del modelo a medida que aumenta la escala de muestreo.

English

Iterative data generation and model retraining are widely used to align large language models (LLMs). It typically involves a policy model to generate on-policy responses and a reward model to guide training data selection. Direct Preference Optimization (DPO) further enhances this process by constructing preference pairs of chosen and rejected responses. In this work, we aim to scale up the number of on-policy samples via repeated random sampling to improve alignment performance. Conventional practice selects the sample with the highest reward as chosen and the lowest as rejected for DPO. However, our experiments reveal that this strategy leads to a decline in performance as the sample size increases. To address this, we investigate preference data construction through the lens of underlying normal distribution of sample rewards. We categorize the reward space into seven representative points and systematically explore all 21 (C_7^2) pairwise combinations. Through evaluations on four models using AlpacaEval 2, we find that selecting the rejected response at reward position mu - 2sigma rather than the minimum reward, is crucial for optimal performance. We finally introduce a scalable preference data construction strategy that consistently enhances model performance as the sample scale increases.