Coppia RM: Esegui il campionamento migliore di N con il torneo a eliminazione diretta

Pairwise RM: Perform Best-of-N Sampling with Knockout Tournament

January 22, 2025

Autori: Yantao Liu, Zijun Yao, Rui Min, Yixin Cao, Lei Hou, Juanzi Li

cs.AI

Abstract

Il campionamento Best-of-N (BoN), una strategia comune per la scalabilità dei Modelli di Linguaggio di Grandi Dimensioni (LLM) durante i test, si basa sui modelli di ricompensa per selezionare la migliore soluzione candidata da più generazioni. Tuttavia, i tradizionali modelli di ricompensa spesso assegnano punteggi arbitrari e inconsistenti, limitandone l'efficacia. Per affrontare questo problema, proponiamo un Modello di Ricompensa a Coppie (Pairwise RM) combinato con un torneo ad eliminazione per il campionamento BoN. Invece di assegnare punteggi assoluti, dato un problema matematico, Pairwise RM valuta contemporaneamente la correttezza di due soluzioni candidate. Questo approccio elimina la necessità di punteggi arbitrari e consente la convalida incrociata delle soluzioni attraverso il confronto parallelo. Nel torneo ad eliminazione, Pairwise RM effettua confronti a coppie tra soluzioni candidate ed elimina iterativamente quelle incorrette. Costruiamo \ourdataset, un dataset su larga scala di 443K confronti a coppie derivati da NumiaMath e annotati utilizzando gemini-1.5-flash, e addestriamo il Pairwise RM tramite sintonizzazione fine supervisionata. Gli esperimenti su MATH-500 e sulla Panchina Olimpica dimostrano miglioramenti significativi rispetto ai tradizionali modelli di ricompensa discriminativi. E si ottiene un miglioramento relativo del 40\% al 60\% sui problemi più difficili della top 50\%.

English

Best-of-N (BoN) sampling, a common strategy for test-time scaling of Large Language Models (LLMs), relies on reward models to select the best candidate solution from multiple generations. However, traditional reward models often assign arbitrary and inconsistent scores, limiting their effectiveness. To address this, we propose a Pairwise Reward Model (Pairwise RM) combined with a knockout tournament for BoN sampling. Instead of assigning absolute scores, given one math problem, Pairwise RM evaluates two candidate solutions' correctness simultaneously. This approach eliminates the need for arbitrary scoring and enables cross-validation of solutions through parallel comparison. In the knockout tournament, Pairwise RM conducts pairwise comparisons between candidate solutions and eliminates the incorrect ones iteratively. We construct \ourdataset, a large-scale dataset of 443K pairwise comparisons derived from NumiaMath and annotated using gemini-1.5-flash, and train the Pairwise RM via supervised fine-tuning. Experiments on MATH-500 and the Olympiad Bench demonstrate significant improvements over traditional discriminative reward models. And a 40\% to 60\% relative improvement is achieved on the top 50\% challenging problems.