SCAN: Annotazione Monte Carlo con Auto-Denoisizzazione per un Apprendimento Robusto delle Ricompense di Processo

Abstract

I modelli di ricompensa basati sul processo (PRM) offrono valutazioni granulari a livello di passaggio che facilitano processi di ragionamento più approfonditi nei grandi modelli linguistici (LLM), dimostrandosi efficaci in compiti complessi come il ragionamento matematico. Tuttavia, lo sviluppo dei PRM è impegnativo a causa dell'elevato costo e della limitata scalabilità dei dati annotati manualmente. I dati sintetici ottenuti tramite stima Monte Carlo (MC) rappresentano un'alternativa promettente, ma soffrono di un elevato rapporto di rumore, che può causare overfitting e ostacolare l'addestramento su larga scala. In questo lavoro, conduciamo uno studio preliminare sulla distribuzione del rumore nei dati sintetici derivati dalla stima MC, identificando che i modelli di annotazione tendono sia a sottostimare che a sovrastimare la correttezza dei passaggi a causa di limitazioni nelle loro capacità di annotazione. Basandoci su queste intuizioni, proponiamo Self-Denoising Monte Carlo Annotation (SCAN), un framework efficiente per la sintesi dei dati e l'apprendimento tollerante al rumore. I nostri risultati chiave indicano che: (1) Anche modelli leggeri (ad esempio, con 1,5 miliardi di parametri) possono produrre annotazioni di alta qualità attraverso una strategia di auto-denoising, consentendo ai PRM di ottenere prestazioni superiori con solo il 6% del costo di inferenza richiesto dalla stima MC tradizionale. (2) Con la nostra robusta strategia di apprendimento, i PRM possono apprendere efficacemente da questa supervisione debole, ottenendo un miglioramento di 39,2 punti F1 (da 19,9 a 59,1) in ProcessBench. Nonostante l'uso di un dataset sintetico compatto, i nostri modelli superano baseline solide, inclusi quelli addestrati su dataset annotati manualmente su larga scala come PRM800K. Inoltre, le prestazioni continuano a migliorare con l'aumento dei dati sintetici, evidenziando il potenziale di SCAN per un addestramento scalabile, economicamente efficiente e robusto dei PRM.

English

Process reward models (PRMs) offer fine-grained, step-level evaluations that facilitate deeper reasoning processes in large language models (LLMs), proving effective in complex tasks like mathematical reasoning. However, developing PRMs is challenging due to the high cost and limited scalability of human-annotated data. Synthetic data from Monte Carlo (MC) estimation is a promising alternative but suffers from a high noise ratio, which can cause overfitting and hinder large-scale training. In this work, we conduct a preliminary study on the noise distribution in synthetic data from MC estimation, identifying that annotation models tend to both underestimate and overestimate step correctness due to limitations in their annotation capabilities. Building on these insights, we propose Self-Denoising Monte Carlo Annotation (SCAN), an efficient data synthesis and noise-tolerant learning framework. Our key findings indicate that: (1) Even lightweight models (e.g., 1.5B parameters) can produce high-quality annotations through a self-denoising strategy, enabling PRMs to achieve superior performance with only 6% the inference cost required by vanilla MC estimation. (2) With our robust learning strategy, PRMs can effectively learn from this weak supervision, achieving a 39.2 F1 score improvement (from 19.9 to 59.1) in ProcessBench. Despite using only a compact synthetic dataset, our models surpass strong baselines, including those trained on large-scale human-annotated datasets such as PRM800K. Furthermore, performance continues to improve as we scale up the synthetic data, highlighting the potential of SCAN for scalable, cost-efficient, and robust PRM training.

SCAN: Annotazione Monte Carlo con Auto-Denoisizzazione per un Apprendimento Robusto delle Ricompense di Processo

SCAN: Self-Denoising Monte Carlo Annotation for Robust Process Reward Learning

Abstract

Support