RM par paires : Effectuer un échantillonnage Meilleur-de-N avec un tournoi à élimination directe

Pairwise RM: Perform Best-of-N Sampling with Knockout Tournament

January 22, 2025

Auteurs: Yantao Liu, Zijun Yao, Rui Min, Yixin Cao, Lei Hou, Juanzi Li

cs.AI

Résumé

L'échantillonnage Best-of-N (BoN), une stratégie courante pour l'ajustement à l'échelle des grands modèles de langage (LLM) au moment des tests, repose sur des modèles de récompense pour sélectionner la meilleure solution parmi plusieurs générations. Cependant, les modèles de récompense traditionnels attribuent souvent des scores arbitraires et incohérents, limitant leur efficacité. Pour remédier à cela, nous proposons un Modèle de Récompense par Paires (Pairwise RM) combiné à un tournoi à élimination pour l'échantillonnage BoN. Au lieu d'attribuer des scores absolus, le Pairwise RM évalue simultanément la justesse de deux solutions candidates pour un problème mathématique donné. Cette approche élimine le besoin de notation arbitraire et permet la validation croisée des solutions par comparaison parallèle. Dans le tournoi à élimination, le Pairwise RM effectue des comparaisons par paires entre les solutions candidates et élimine itérativement celles qui sont incorrectes. Nous construisons \ourdataset, un ensemble de données à grande échelle de 443 000 comparaisons par paires dérivées de NumiaMath et annotées à l'aide de gemini-1.5-flash, et entraînons le Pairwise RM via un affinage supervisé. Les expériences sur MATH-500 et le Banc Olympique démontrent des améliorations significatives par rapport aux modèles de récompense discriminatifs traditionnels. Une amélioration relative de 40\% à 60\% est obtenue sur les 50\% des problèmes les plus difficiles.

English

Best-of-N (BoN) sampling, a common strategy for test-time scaling of Large Language Models (LLMs), relies on reward models to select the best candidate solution from multiple generations. However, traditional reward models often assign arbitrary and inconsistent scores, limiting their effectiveness. To address this, we propose a Pairwise Reward Model (Pairwise RM) combined with a knockout tournament for BoN sampling. Instead of assigning absolute scores, given one math problem, Pairwise RM evaluates two candidate solutions' correctness simultaneously. This approach eliminates the need for arbitrary scoring and enables cross-validation of solutions through parallel comparison. In the knockout tournament, Pairwise RM conducts pairwise comparisons between candidate solutions and eliminates the incorrect ones iteratively. We construct \ourdataset, a large-scale dataset of 443K pairwise comparisons derived from NumiaMath and annotated using gemini-1.5-flash, and train the Pairwise RM via supervised fine-tuning. Experiments on MATH-500 and the Olympiad Bench demonstrate significant improvements over traditional discriminative reward models. And a 40\% to 60\% relative improvement is achieved on the top 50\% challenging problems.