RM em pares: Realizar amostragem Melhor-de-N com Torneio de Eliminação.

Pairwise RM: Perform Best-of-N Sampling with Knockout Tournament

January 22, 2025

Autores: Yantao Liu, Zijun Yao, Rui Min, Yixin Cao, Lei Hou, Juanzi Li

cs.AI

Resumo

A amostragem Best-of-N (BoN), uma estratégia comum para a escalabilidade em tempo de teste de Modelos de Linguagem Grandes (LLMs), depende de modelos de recompensa para selecionar a melhor solução candidata de várias gerações. No entanto, os modelos de recompensa tradicionais frequentemente atribuem pontuações arbitrárias e inconsistentes, limitando sua eficácia. Para lidar com isso, propomos um Modelo de Recompensa em Pares (Pairwise RM) combinado com um torneio de eliminação para a amostragem BoN. Em vez de atribuir pontuações absolutas, dado um problema matemático, o Pairwise RM avalia simultaneamente a correção de duas soluções candidatas. Essa abordagem elimina a necessidade de pontuações arbitrárias e possibilita a validação cruzada das soluções por meio de comparação paralela. No torneio de eliminação, o Pairwise RM realiza comparações em pares entre as soluções candidatas e elimina as incorretas de forma iterativa. Construímos \ourdataset, um conjunto de dados em larga escala com 443 mil comparações em pares derivadas do NumiaMath e anotadas usando gemini-1.5-flash, e treinamos o Pairwise RM por meio de ajuste fino supervisionado. Experimentos no MATH-500 e no Olympiad Bench demonstram melhorias significativas em relação aos modelos de recompensa discriminativos tradicionais. E uma melhoria relativa de 40\% a 60\% é alcançada nos 50\% dos problemas desafiadores mais difíceis.

English

Best-of-N (BoN) sampling, a common strategy for test-time scaling of Large Language Models (LLMs), relies on reward models to select the best candidate solution from multiple generations. However, traditional reward models often assign arbitrary and inconsistent scores, limiting their effectiveness. To address this, we propose a Pairwise Reward Model (Pairwise RM) combined with a knockout tournament for BoN sampling. Instead of assigning absolute scores, given one math problem, Pairwise RM evaluates two candidate solutions' correctness simultaneously. This approach eliminates the need for arbitrary scoring and enables cross-validation of solutions through parallel comparison. In the knockout tournament, Pairwise RM conducts pairwise comparisons between candidate solutions and eliminates the incorrect ones iteratively. We construct \ourdataset, a large-scale dataset of 443K pairwise comparisons derived from NumiaMath and annotated using gemini-1.5-flash, and train the Pairwise RM via supervised fine-tuning. Experiments on MATH-500 and the Olympiad Bench demonstrate significant improvements over traditional discriminative reward models. And a 40\% to 60\% relative improvement is achieved on the top 50\% challenging problems.