La mayoría no siempre tiene la razón: entrenamiento de RL para la agregación de soluciones

The Majority is not always right: RL training for solution aggregation

September 8, 2025

Autores: Wenting Zhao, Pranjal Aggarwal, Swarnadeep Saha, Asli Celikyilmaz, Jason Weston, Ilia Kulikov

cs.AI

Resumen

El escalado del cómputo en tiempo de prueba, mediante la generación de múltiples soluciones independientes y la selección o agregación entre ellas, se ha convertido en un paradigma central para mejorar los modelos de lenguaje de gran escala (LLMs) en tareas de razonamiento desafiantes. Si bien la mayoría de los trabajos previos se basan en votaciones mayoritarias simples o en la clasificación mediante modelos de recompensa para agregar soluciones, estos enfoques pueden ofrecer beneficios limitados. En este trabajo, proponemos aprender la agregación como una habilidad de razonamiento explícita: dado un conjunto de soluciones candidatas, entrenamos un modelo agregador para revisar, reconciliar y sintetizar una respuesta final correcta utilizando aprendizaje por refuerzo a partir de recompensas verificables. Un ingrediente clave es el equilibrio cuidadoso entre ejemplos de entrenamiento fáciles y difíciles, lo que permite al modelo aprender tanto a recuperar respuestas minoritarias pero correctas como respuestas mayoritarias fáciles. Empíricamente, encontramos que nuestro método, AggLM, supera tanto a baselines basados en reglas como a modelos de recompensa, en múltiples benchmarks. Además, generaliza efectivamente a soluciones provenientes de modelos diferentes, incluyendo aquellos más fuertes que los contenidos en los datos de entrenamiento, todo ello requiriendo sustancialmente menos tokens que la votación mayoritaria con un mayor número de soluciones.

English

Scaling up test-time compute, by generating multiple independent solutions and selecting or aggregating among them, has become a central paradigm for improving large language models (LLMs) on challenging reasoning tasks. While most prior work relies on simple majority voting or reward model ranking to aggregate solutions, these approaches may only yield limited benefits. In this work, we propose to learn aggregation as an explicit reasoning skill: given a set of candidate solutions, we train an aggregator model to review, reconcile, and synthesize a final, correct answer using reinforcement learning from verifiable rewards. A key ingredient is careful balancing of easy and hard training examples, allowing the model to learn both to recover minority-but-correct answers as well as easy majority-correct answers. Empirically, we find our method, AggLM, outperforms both strong rule-based and reward-model baselines, across multiple benchmarks. Furthermore, it generalizes effectively to solutions from differing models, including stronger ones than contained in the training data, all while requiring substantially fewer tokens than majority voting with larger numbers of solutions.