De meerderheid heeft niet altijd gelijk: RL-training voor oplossingsaggregatie

The Majority is not always right: RL training for solution aggregation

September 8, 2025

Auteurs: Wenting Zhao, Pranjal Aggarwal, Swarnadeep Saha, Asli Celikyilmaz, Jason Weston, Ilia Kulikov

cs.AI

Samenvatting

Het opschalen van rekenkracht tijdens testen, door het genereren van meerdere onafhankelijke oplossingen en het selecteren of aggregeren daarvan, is een centrale paradigma geworden voor het verbeteren van grote taalmodellen (LLMs) op uitdagende redeneertaken. Hoewel de meeste eerdere werken vertrouwen op eenvoudige meerderheidsstemming of rangschikking door beloningsmodellen om oplossingen te aggregeren, kunnen deze benaderingen slechts beperkte voordelen opleveren. In dit werk stellen we voor om aggregatie te leren als een expliciete redeneervaardigheid: gegeven een set kandidaatoplossingen, trainen we een aggregatiemodel om een definitief, correct antwoord te beoordelen, af te stemmen en samen te stellen met behulp van reinforcement learning op basis van verifieerbare beloningen. Een belangrijk ingrediënt is het zorgvuldig balanceren van eenvoudige en moeilijke trainingsvoorbeelden, waardoor het model zowel kan leren om minderheidsmaar-correcte antwoorden te herstellen als eenvoudige meerderheidscorrecte antwoorden. Empirisch vinden we dat onze methode, AggLM, zowel sterke op regels gebaseerde als beloningsmodel-baselines overtreft, over meerdere benchmarks. Bovendien generaliseert het effectief naar oplossingen van verschillende modellen, inclusief sterkere dan die in de trainingsdata zijn opgenomen, terwijl het aanzienlijk minder tokens vereist dan meerderheidsstemming met een groter aantal oplossingen.

English

Scaling up test-time compute, by generating multiple independent solutions and selecting or aggregating among them, has become a central paradigm for improving large language models (LLMs) on challenging reasoning tasks. While most prior work relies on simple majority voting or reward model ranking to aggregate solutions, these approaches may only yield limited benefits. In this work, we propose to learn aggregation as an explicit reasoning skill: given a set of candidate solutions, we train an aggregator model to review, reconcile, and synthesize a final, correct answer using reinforcement learning from verifiable rewards. A key ingredient is careful balancing of easy and hard training examples, allowing the model to learn both to recover minority-but-correct answers as well as easy majority-correct answers. Empirically, we find our method, AggLM, outperforms both strong rule-based and reward-model baselines, across multiple benchmarks. Furthermore, it generalizes effectively to solutions from differing models, including stronger ones than contained in the training data, all while requiring substantially fewer tokens than majority voting with larger numbers of solutions.