Большинство не всегда право: обучение с подкреплением для агрегации решений

The Majority is not always right: RL training for solution aggregation

September 8, 2025

Авторы: Wenting Zhao, Pranjal Aggarwal, Swarnadeep Saha, Asli Celikyilmaz, Jason Weston, Ilia Kulikov

cs.AI

Аннотация

Масштабирование вычислительных ресурсов на этапе тестирования за счет генерации множества независимых решений и их последующего выбора или агрегирования стало ключевой парадигмой для улучшения больших языковых моделей (LLM) в сложных задачах, требующих рассуждений. Хотя большинство предыдущих работ полагается на простое мажоритарное голосование или ранжирование с использованием моделей вознаграждения для агрегирования решений, такие подходы могут давать лишь ограниченные преимущества. В данной работе мы предлагаем обучать агрегирование как явный навык рассуждения: имея набор кандидатных решений, мы обучаем модель-агрегатор анализировать, согласовывать и синтезировать окончательный правильный ответ с использованием обучения с подкреплением на основе проверяемых вознаграждений. Ключевым элементом является тщательное балансирование простых и сложных обучающих примеров, что позволяет модели научиться как восстанавливать правильные, но редкие ответы, так и легко находить мажоритарно правильные. Эмпирически мы обнаруживаем, что наш метод, AggLM, превосходит как сильные правила, так и базовые модели вознаграждения на множестве бенчмарков. Более того, он эффективно обобщается на решения от различных моделей, включая более сильные, чем те, что содержатся в обучающих данных, при этом требуя значительно меньше токенов по сравнению с мажоритарным голосованием с большим количеством решений.

English

Scaling up test-time compute, by generating multiple independent solutions and selecting or aggregating among them, has become a central paradigm for improving large language models (LLMs) on challenging reasoning tasks. While most prior work relies on simple majority voting or reward model ranking to aggregate solutions, these approaches may only yield limited benefits. In this work, we propose to learn aggregation as an explicit reasoning skill: given a set of candidate solutions, we train an aggregator model to review, reconcile, and synthesize a final, correct answer using reinforcement learning from verifiable rewards. A key ingredient is careful balancing of easy and hard training examples, allowing the model to learn both to recover minority-but-correct answers as well as easy majority-correct answers. Empirically, we find our method, AggLM, outperforms both strong rule-based and reward-model baselines, across multiple benchmarks. Furthermore, it generalizes effectively to solutions from differing models, including stronger ones than contained in the training data, all while requiring substantially fewer tokens than majority voting with larger numbers of solutions.