Onzekerheidsgebaseerde methoden voor de geautomatiseerde constructie van procesbeloningsgegevens en outputaggregatie in wiskundig redeneren

Uncertainty-Based Methods for Automated Process Reward Data Construction and Output Aggregation in Mathematical Reasoning

August 3, 2025

Auteurs: Jiuzhou Han, Wray Buntine, Ehsan Shareghi

cs.AI

Samenvatting

Grote taalmodellen hebben opmerkelijke capaciteiten getoond in complexe wiskundige redeneertaken, maar ze maken onvermijdelijk fouten tijdens meerstapsoplossingen. Procesniveau Beloningsmodellen (PRMs) hebben veelbelovende resultaten laten zien door toezicht en evaluatie te bieden bij elke tussenliggende stap, waardoor de redeneervaardigheden van de modellen effectief worden verbeterd. Het trainen van effectieve PRMs vereist echter hoogwaardige procesbeloningsdata, en bestaande methoden voor het construeren van dergelijke data zijn vaak arbeidsintensief of inefficiënt. In dit artikel stellen we een onzekerheidsgestuurd framework voor voor de geautomatiseerde constructie van procesbeloningsdata, dat zowel de datageneratie als de annotatieprocessen voor PRMs omvat. Daarnaast identificeren we de beperkingen van zowel de meerderheidsstemming als PRMs, en introduceren we twee generieke onzekerheidsbewuste uitvoeraggregatiemethoden: Hybride Meerderheidsbeloningsstemming en Gewogen Beloningsfrequentie Stemming, die de sterke punten van meerderheidsstemming combineren met PRMs. Uitgebreide experimenten op ProcessBench, MATH en GSMPlus tonen de effectiviteit en efficiëntie van het voorgestelde PRM-data constructieframework aan, en laten zien dat de twee uitvoeraggregatiemethoden de wiskundige redeneervaardigheden verder verbeteren over diverse PRMs. De code en data zullen publiekelijk beschikbaar zijn op https://github.com/Jiuzhouh/UnPRM.

English

Large language models have demonstrated remarkable capabilities in complex mathematical reasoning tasks, but they inevitably generate errors throughout multi-step solutions. Process-level Reward Models (PRMs) have shown great promise by providing supervision and evaluation at each intermediate step, thereby effectively improving the models' reasoning abilities. However, training effective PRMs requires high-quality process reward data, yet existing methods for constructing such data are often labour-intensive or inefficient. In this paper, we propose an uncertainty-driven framework for automated process reward data construction, encompassing both data generation and annotation processes for PRMs. Additionally, we identify the limitations of both majority vote and PRMs, and introduce two generic uncertainty-aware output aggregation methods: Hybrid Majority Reward Vote and Weighted Reward Frequency Vote, which combine the strengths of majority vote with PRMs. Extensive experiments on ProcessBench, MATH, and GSMPlus show the effectiveness and efficiency of the proposed PRM data construction framework, and demonstrate that the two output aggregation methods further improve the mathematical reasoning abilities across diverse PRMs. The code and data will be publicly available at https://github.com/Jiuzhouh/UnPRM.