Encontrando o Ponto Ideal: Construção de Dados de Preferência para Escalonamento de Otimização de Preferências

Finding the Sweet Spot: Preference Data Construction for Scaling Preference Optimization

February 24, 2025

Autores: Yao Xiao, Hai Ye, Linyao Chen, Hwee Tou Ng, Lidong Bing, Xiaoli Li, Roy Ka-wei Lee

cs.AI

Resumo

A geração iterativa de dados e o retreinamento de modelos são amplamente utilizados para alinhar grandes modelos de linguagem (LLMs). Esse processo geralmente envolve um modelo de política para gerar respostas alinhadas à política e um modelo de recompensa para orientar a seleção dos dados de treinamento. A Otimização Direta de Preferências (Direct Preference Optimization - DPO) aprimora ainda mais esse processo ao construir pares de preferências entre respostas escolhidas e rejeitadas. Neste trabalho, buscamos escalar o número de amostras alinhadas à política por meio de amostragem aleatória repetida para melhorar o desempenho de alinhamento. A prática convencional seleciona a amostra com a maior recompensa como escolhida e a com a menor como rejeitada para o DPO. No entanto, nossos experimentos revelam que essa estratégia leva a uma queda no desempenho à medida que o tamanho da amostra aumenta. Para resolver isso, investigamos a construção de dados de preferência sob a perspectiva da distribuição normal subjacente das recompensas das amostras. Categorizamos o espaço de recompensas em sete pontos representativos e exploramos sistematicamente todas as 21 combinações pareadas (C_7^2). Por meio de avaliações em quatro modelos utilizando o AlpacaEval 2, descobrimos que selecionar a resposta rejeitada na posição de recompensa mu - 2sigma, em vez da recompensa mínima, é crucial para o desempenho ideal. Por fim, introduzimos uma estratégia escalável de construção de dados de preferência que melhora consistentemente o desempenho do modelo à medida que a escala de amostras aumenta.

English

Iterative data generation and model retraining are widely used to align large language models (LLMs). It typically involves a policy model to generate on-policy responses and a reward model to guide training data selection. Direct Preference Optimization (DPO) further enhances this process by constructing preference pairs of chosen and rejected responses. In this work, we aim to scale up the number of on-policy samples via repeated random sampling to improve alignment performance. Conventional practice selects the sample with the highest reward as chosen and the lowest as rejected for DPO. However, our experiments reveal that this strategy leads to a decline in performance as the sample size increases. To address this, we investigate preference data construction through the lens of underlying normal distribution of sample rewards. We categorize the reward space into seven representative points and systematically explore all 21 (C_7^2) pairwise combinations. Through evaluations on four models using AlpacaEval 2, we find that selecting the rejected response at reward position mu - 2sigma rather than the minimum reward, is crucial for optimal performance. We finally introduce a scalable preference data construction strategy that consistently enhances model performance as the sample scale increases.