A maioria nem sempre está certa: treinamento de RL para agregação de soluções

The Majority is not always right: RL training for solution aggregation

September 8, 2025

Autores: Wenting Zhao, Pranjal Aggarwal, Swarnadeep Saha, Asli Celikyilmaz, Jason Weston, Ilia Kulikov

cs.AI

Resumo

Aumentar o poder computacional no momento do teste, gerando múltiplas soluções independentes e selecionando ou agregando entre elas, tornou-se um paradigma central para melhorar modelos de linguagem de grande escala (LLMs) em tarefas de raciocínio desafiadoras. Embora a maioria dos trabalhos anteriores dependa de votação majoritária simples ou de classificação por modelos de recompensa para agregar soluções, essas abordagens podem oferecer benefícios limitados. Neste trabalho, propomos aprender a agregação como uma habilidade explícita de raciocínio: dado um conjunto de soluções candidatas, treinamos um modelo agregador para revisar, reconciliar e sintetizar uma resposta final correta, utilizando aprendizado por reforço com recompensas verificáveis. Um ingrediente chave é o equilíbrio cuidadoso entre exemplos de treinamento fáceis e difíceis, permitindo que o modelo aprenda tanto a recuperar respostas minoritárias, mas corretas, quanto respostas majoritárias fáceis e corretas. Empiricamente, descobrimos que nosso método, AggLM, supera tanto baselines baseadas em regras quanto modelos de recompensa, em múltiplos benchmarks. Além disso, ele generaliza efetivamente para soluções de modelos diferentes, incluindo aqueles mais fortes do que os contidos nos dados de treinamento, tudo isso enquanto requer substancialmente menos tokens do que a votação majoritária com um número maior de soluções.

English

Scaling up test-time compute, by generating multiple independent solutions and selecting or aggregating among them, has become a central paradigm for improving large language models (LLMs) on challenging reasoning tasks. While most prior work relies on simple majority voting or reward model ranking to aggregate solutions, these approaches may only yield limited benefits. In this work, we propose to learn aggregation as an explicit reasoning skill: given a set of candidate solutions, we train an aggregator model to review, reconcile, and synthesize a final, correct answer using reinforcement learning from verifiable rewards. A key ingredient is careful balancing of easy and hard training examples, allowing the model to learn both to recover minority-but-correct answers as well as easy majority-correct answers. Empirically, we find our method, AggLM, outperforms both strong rule-based and reward-model baselines, across multiple benchmarks. Furthermore, it generalizes effectively to solutions from differing models, including stronger ones than contained in the training data, all while requiring substantially fewer tokens than majority voting with larger numbers of solutions.