SCAN: Selbstentrauschende Monte-Carlo-Annotation für robustes Prozessbelohnungslernen

papers.abstract

Prozess-Belohnungsmodelle (PRMs) bieten feingranulare, schrittweise Bewertungen, die tiefere Denkprozesse in großen Sprachmodellen (LLMs) fördern und sich in komplexen Aufgaben wie mathematischem Denken als effektiv erweisen. Die Entwicklung von PRMs ist jedoch aufgrund der hohen Kosten und der begrenzten Skalierbarkeit von menschlich annotierten Daten herausfordernd. Synthetische Daten aus Monte-Carlo (MC)-Schätzungen stellen eine vielversprechende Alternative dar, leiden jedoch unter einem hohen Rauschanteil, der zu Überanpassung führen und das Training in großem Maßstab behindern kann. In dieser Arbeit führen wir eine Vorstudie zur Rauschverteilung in synthetischen Daten aus MC-Schätzungen durch und identifizieren, dass Annotationsmodelle aufgrund von Einschränkungen in ihren Annotationsfähigkeiten dazu neigen, die Schrittkorrektheit sowohl zu unterschätzen als auch zu überschätzen. Aufbauend auf diesen Erkenntnissen schlagen wir Self-Denoising Monte Carlo Annotation (SCAN) vor, ein effizientes Framework für die Datensynthese und rauschtolerantes Lernen. Unsere zentralen Ergebnisse zeigen, dass: (1) Selbst leichte Modelle (z. B. mit 1,5 Milliarden Parametern) durch eine Selbstentrauschungsstrategie hochwertige Annotationen erzeugen können, wodurch PRMs mit nur 6 % der Inferenzkosten, die für die herkömmliche MC-Schätzung erforderlich sind, eine überlegene Leistung erzielen können. (2) Mit unserer robusten Lernstrategie können PRMs effektiv aus dieser schwachen Überwachung lernen und eine Verbesserung des F1-Scores um 39,2 Punkte (von 19,9 auf 59,1) in ProcessBench erreichen. Trotz der Verwendung eines kompakten synthetischen Datensatzes übertreffen unsere Modelle starke Baseline-Modelle, einschließlich solcher, die auf groß angelegten, menschlich annotierten Datensätzen wie PRM800K trainiert wurden. Darüber hinaus verbessert sich die Leistung weiter, wenn wir die synthetischen Daten skalieren, was das Potenzial von SCAN für skalierbares, kosteneffizientes und robustes PRM-Training unterstreicht.

English

Process reward models (PRMs) offer fine-grained, step-level evaluations that facilitate deeper reasoning processes in large language models (LLMs), proving effective in complex tasks like mathematical reasoning. However, developing PRMs is challenging due to the high cost and limited scalability of human-annotated data. Synthetic data from Monte Carlo (MC) estimation is a promising alternative but suffers from a high noise ratio, which can cause overfitting and hinder large-scale training. In this work, we conduct a preliminary study on the noise distribution in synthetic data from MC estimation, identifying that annotation models tend to both underestimate and overestimate step correctness due to limitations in their annotation capabilities. Building on these insights, we propose Self-Denoising Monte Carlo Annotation (SCAN), an efficient data synthesis and noise-tolerant learning framework. Our key findings indicate that: (1) Even lightweight models (e.g., 1.5B parameters) can produce high-quality annotations through a self-denoising strategy, enabling PRMs to achieve superior performance with only 6% the inference cost required by vanilla MC estimation. (2) With our robust learning strategy, PRMs can effectively learn from this weak supervision, achieving a 39.2 F1 score improvement (from 19.9 to 59.1) in ProcessBench. Despite using only a compact synthetic dataset, our models surpass strong baselines, including those trained on large-scale human-annotated datasets such as PRM800K. Furthermore, performance continues to improve as we scale up the synthetic data, highlighting the potential of SCAN for scalable, cost-efficient, and robust PRM training.

SCAN: Selbstentrauschende Monte-Carlo-Annotation für robustes Prozessbelohnungslernen

SCAN: Self-Denoising Monte Carlo Annotation for Robust Process Reward Learning

papers.abstract

Support