Die Mehrheit hat nicht immer Recht: RL-Training zur Lösungsaggregation
The Majority is not always right: RL training for solution aggregation
September 8, 2025
papers.authors: Wenting Zhao, Pranjal Aggarwal, Swarnadeep Saha, Asli Celikyilmaz, Jason Weston, Ilia Kulikov
cs.AI
papers.abstract
Die Skalierung der Rechenleistung zur Testzeit durch die Generierung mehrerer unabhängiger Lösungen und deren Auswahl oder Aggregation hat sich zu einem zentralen Paradigma für die Verbesserung großer Sprachmodelle (LLMs) bei anspruchsvollen Denkaufgaben entwickelt. Während sich die meisten bisherigen Arbeiten auf einfache Mehrheitsabstimmungen oder die Bewertung durch Belohnungsmodelle zur Aggregation von Lösungen stützen, können diese Ansätze nur begrenzte Vorteile bieten. In dieser Arbeit schlagen wir vor, die Aggregation als explizite Denkfähigkeit zu erlernen: Gegeben eine Menge von Kandidatenlösungen, trainieren wir ein Aggregatormodell, um eine endgültige, korrekte Antwort durch Überprüfung, Abstimmung und Synthese mithilfe von Verstärkungslernen aus überprüfbaren Belohnungen zu erzeugen. Ein Schlüsselelement ist die sorgfältige Balance zwischen einfachen und schwierigen Trainingsbeispielen, wodurch das Modell sowohl lernen kann, Minderheits- aber korrekte Antworten wiederzugewinnen, als auch einfache Mehrheits-korrekte Antworten. Empirisch zeigt sich, dass unsere Methode, AggLM, sowohl regelbasierte als auch belohnungsmodellbasierte Vergleichsverfahren in mehreren Benchmarks übertrifft. Darüber hinaus verallgemeinert sie effektiv auf Lösungen unterschiedlicher Modelle, einschließlich solcher, die stärker sind als die in den Trainingsdaten enthaltenen, und benötigt dabei deutlich weniger Tokens als Mehrheitsabstimmungen mit einer größeren Anzahl von Lösungen.
English
Scaling up test-time compute, by generating multiple independent solutions
and selecting or aggregating among them, has become a central paradigm for
improving large language models (LLMs) on challenging reasoning tasks. While
most prior work relies on simple majority voting or reward model ranking to
aggregate solutions, these approaches may only yield limited benefits. In this
work, we propose to learn aggregation as an explicit reasoning skill: given a
set of candidate solutions, we train an aggregator model to review, reconcile,
and synthesize a final, correct answer using reinforcement learning from
verifiable rewards. A key ingredient is careful balancing of easy and hard
training examples, allowing the model to learn both to recover
minority-but-correct answers as well as easy majority-correct answers.
Empirically, we find our method, AggLM, outperforms both strong rule-based and
reward-model baselines, across multiple benchmarks. Furthermore, it generalizes
effectively to solutions from differing models, including stronger ones than
contained in the training data, all while requiring substantially fewer tokens
than majority voting with larger numbers of solutions.