Попарное RM: выполнение выборки лучших с Knockout-турниром.

Pairwise RM: Perform Best-of-N Sampling with Knockout Tournament

January 22, 2025

Авторы: Yantao Liu, Zijun Yao, Rui Min, Yixin Cao, Lei Hou, Juanzi Li

cs.AI

Аннотация

Сэмплирование лучших N (Best-of-N, BoN), распространенная стратегия для масштабирования крупных языковых моделей (Large Language Models, LLM), основывается на моделях вознаграждения для выбора лучшего кандидата из нескольких поколений. Однако традиционные модели вознаграждения часто присваивают произвольные и несогласованные оценки, что ограничивает их эффективность. Для решения этой проблемы мы предлагаем модель парного вознаграждения (Pairwise Reward Model, Pairwise RM), объединенную с турниром с выбыванием для сэмплирования BoN. Вместо присвоения абсолютных оценок, Pairwise RM оценивает одновременно правильность двух кандидатских решений для одной математической задачи. Этот подход устраняет необходимость в произвольной оценке и позволяет кросс-валидацию решений через параллельное сравнение. В турнире с выбыванием Pairwise RM проводит попарные сравнения между кандидатскими решениями и итеративно устраняет неправильные. Мы создаем наш набор данных (\ourdataset), крупномасштабный набор данных из 443 тыс. попарных сравнений, полученных из NumiaMath и аннотированных с использованием gemini-1.5-flash, и обучаем модель Pairwise RM с помощью надзорного дообучения. Эксперименты на MATH-500 и Олимпийской площадке показывают значительные улучшения по сравнению с традиционными дискриминативными моделями вознаграждения. И достигается относительное улучшение на уровне от 40% до 60% на 50% самых сложных задач.

English

Best-of-N (BoN) sampling, a common strategy for test-time scaling of Large Language Models (LLMs), relies on reward models to select the best candidate solution from multiple generations. However, traditional reward models often assign arbitrary and inconsistent scores, limiting their effectiveness. To address this, we propose a Pairwise Reward Model (Pairwise RM) combined with a knockout tournament for BoN sampling. Instead of assigning absolute scores, given one math problem, Pairwise RM evaluates two candidate solutions' correctness simultaneously. This approach eliminates the need for arbitrary scoring and enables cross-validation of solutions through parallel comparison. In the knockout tournament, Pairwise RM conducts pairwise comparisons between candidate solutions and eliminates the incorrect ones iteratively. We construct \ourdataset, a large-scale dataset of 443K pairwise comparisons derived from NumiaMath and annotated using gemini-1.5-flash, and train the Pairwise RM via supervised fine-tuning. Experiments on MATH-500 and the Olympiad Bench demonstrate significant improvements over traditional discriminative reward models. And a 40\% to 60\% relative improvement is achieved on the top 50\% challenging problems.