RM por pares: Realizar muestreo de Mejor-de-N con Torneo de Eliminación.

Pairwise RM: Perform Best-of-N Sampling with Knockout Tournament

January 22, 2025

Autores: Yantao Liu, Zijun Yao, Rui Min, Yixin Cao, Lei Hou, Juanzi Li

cs.AI

Resumen

El muestreo de Mejor-de-N (BoN), una estrategia común para la escalabilidad en tiempo de prueba de Modelos de Lenguaje Grandes (LLMs), se basa en modelos de recompensa para seleccionar la mejor solución candidata de múltiples generaciones. Sin embargo, los modelos de recompensa tradicionales a menudo asignan puntuaciones arbitrarias e inconsistentes, limitando su efectividad. Para abordar esto, proponemos un Modelo de Recompensa por Pares (Pairwise RM) combinado con un torneo de eliminación para el muestreo BoN. En lugar de asignar puntuaciones absolutas, dado un problema matemático, Pairwise RM evalúa simultáneamente la corrección de dos soluciones candidatas. Este enfoque elimina la necesidad de puntuaciones arbitrarias y permite la validación cruzada de soluciones a través de comparaciones paralelas. En el torneo de eliminación, Pairwise RM realiza comparaciones por pares entre soluciones candidatas y elimina las incorrectas de forma iterativa. Construimos nuestro conjunto de datos, un conjunto de datos a gran escala de 443K comparaciones por pares derivadas de NumiaMath y anotadas utilizando gemini-1.5-flash, y entrenamos el Modelo de Recompensa por Pares mediante un ajuste fino supervisado. Los experimentos en MATH-500 y el Banco de Pruebas de la Olimpiada demuestran mejoras significativas sobre los modelos de recompensa discriminativos tradicionales. Se logra una mejora relativa del 40\% al 60\% en los problemas desafiantes del 50\% superior.

English

Best-of-N (BoN) sampling, a common strategy for test-time scaling of Large Language Models (LLMs), relies on reward models to select the best candidate solution from multiple generations. However, traditional reward models often assign arbitrary and inconsistent scores, limiting their effectiveness. To address this, we propose a Pairwise Reward Model (Pairwise RM) combined with a knockout tournament for BoN sampling. Instead of assigning absolute scores, given one math problem, Pairwise RM evaluates two candidate solutions' correctness simultaneously. This approach eliminates the need for arbitrary scoring and enables cross-validation of solutions through parallel comparison. In the knockout tournament, Pairwise RM conducts pairwise comparisons between candidate solutions and eliminates the incorrect ones iteratively. We construct \ourdataset, a large-scale dataset of 443K pairwise comparisons derived from NumiaMath and annotated using gemini-1.5-flash, and train the Pairwise RM via supervised fine-tuning. Experiments on MATH-500 and the Olympiad Bench demonstrate significant improvements over traditional discriminative reward models. And a 40\% to 60\% relative improvement is achieved on the top 50\% challenging problems.