SCAN: Zelf-ontstorende Monte Carlo-annotatie voor robuust leerproces van beloningen

SCAN: Self-Denoising Monte Carlo Annotation for Robust Process Reward Learning

September 20, 2025

Auteurs: Yuyang Ding, Xinyu Shi, Juntao Li, Xiaobo Liang, Zhaopeng Tu, Min Zhang

cs.AI

Samenvatting

Procesbeloningsmodellen (PRM's) bieden gedetailleerde, stap-voor-stap evaluaties die diepere redeneerprocessen in grote taalmodellen (LLM's) faciliteren, wat effectief blijkt te zijn bij complexe taken zoals wiskundig redeneren. Het ontwikkelen van PRM's is echter uitdagend vanwege de hoge kosten en beperkte schaalbaarheid van door mensen geannoteerde data. Synthetische data gegenereerd via Monte Carlo (MC) schatting is een veelbelovend alternatief, maar lijdt onder een hoog ruisniveau, wat overfitting kan veroorzaken en grootschalige training kan belemmeren. In dit werk voeren we een voorlopige studie uit naar de ruisverdeling in synthetische data gegenereerd via MC-schatting, waarbij we vaststellen dat annotatiemodellen de correctheid van stappen zowel onderschatten als overschatten vanwege beperkingen in hun annotatiecapaciteiten. Gebaseerd op deze inzichten stellen we Self-Denoising Monte Carlo Annotation (SCAN) voor, een efficiënt raamwerk voor datasynthese en ruisbestendig leren. Onze belangrijkste bevindingen zijn: (1) Zelfs lichtgewicht modellen (bijv. 1,5B parameters) kunnen hoogwaardige annotaties produceren via een zelfdenoiserende strategie, waardoor PRM's superieure prestaties kunnen bereiken met slechts 6% van de inferentiekosten die nodig zijn voor standaard MC-schatting. (2) Met onze robuuste leerstrategie kunnen PRM's effectief leren van deze zwakke supervisie, wat resulteert in een verbetering van 39,2 F1-score (van 19,9 naar 59,1) in ProcessBench. Ondanks het gebruik van slechts een compacte synthetische dataset overtreffen onze modellen sterke baseline-modellen, inclusief die getraind op grootschalige door mensen geannoteerde datasets zoals PRM800K. Bovendien blijven de prestaties verbeteren naarmate we de synthetische data opschalen, wat het potentieel van SCAN aantoont voor schaalbare, kostenefficiënte en robuuste PRM-training.

English

Process reward models (PRMs) offer fine-grained, step-level evaluations that facilitate deeper reasoning processes in large language models (LLMs), proving effective in complex tasks like mathematical reasoning. However, developing PRMs is challenging due to the high cost and limited scalability of human-annotated data. Synthetic data from Monte Carlo (MC) estimation is a promising alternative but suffers from a high noise ratio, which can cause overfitting and hinder large-scale training. In this work, we conduct a preliminary study on the noise distribution in synthetic data from MC estimation, identifying that annotation models tend to both underestimate and overestimate step correctness due to limitations in their annotation capabilities. Building on these insights, we propose Self-Denoising Monte Carlo Annotation (SCAN), an efficient data synthesis and noise-tolerant learning framework. Our key findings indicate that: (1) Even lightweight models (e.g., 1.5B parameters) can produce high-quality annotations through a self-denoising strategy, enabling PRMs to achieve superior performance with only 6% the inference cost required by vanilla MC estimation. (2) With our robust learning strategy, PRMs can effectively learn from this weak supervision, achieving a 39.2 F1 score improvement (from 19.9 to 59.1) in ProcessBench. Despite using only a compact synthetic dataset, our models surpass strong baselines, including those trained on large-scale human-annotated datasets such as PRM800K. Furthermore, performance continues to improve as we scale up the synthetic data, highlighting the potential of SCAN for scalable, cost-efficient, and robust PRM training.