SCAN: Самоочищающаяся аннотация методом Монте-Карло для устойчивого обучения процессу вознаграждения

SCAN: Self-Denoising Monte Carlo Annotation for Robust Process Reward Learning

September 20, 2025

Авторы: Yuyang Ding, Xinyu Shi, Juntao Li, Xiaobo Liang, Zhaopeng Tu, Min Zhang

cs.AI

Аннотация

Модели оценки процесса (PRMs) предоставляют детализированные, пошаговые оценки, которые способствуют более глубоким процессам рассуждения в больших языковых моделях (LLMs), демонстрируя эффективность в сложных задачах, таких как математические рассуждения. Однако разработка PRMs сопряжена с трудностями из-за высокой стоимости и ограниченной масштабируемости данных, аннотированных человеком. Синтетические данные, полученные с помощью метода Монте-Карло (MC), представляют собой перспективную альтернативу, но страдают от высокого уровня шума, что может привести к переобучению и затруднить масштабное обучение. В данной работе мы проводим предварительное исследование распределения шума в синтетических данных, полученных методом MC, и выявляем, что модели аннотирования склонны как недооценивать, так и переоценивать правильность шагов из-за ограничений в их способности к аннотированию. На основе этих наблюдений мы предлагаем Self-Denoising Monte Carlo Annotation (SCAN) — эффективную структуру для синтеза данных и обучения, устойчивого к шуму. Наши ключевые выводы заключаются в следующем: (1) Даже легковесные модели (например, с 1,5 млрд параметров) могут создавать высококачественные аннотации с помощью стратегии самоочистки, позволяя PRMs достигать превосходной производительности при затратах на вывод, составляющих всего 6% от затрат, требуемых стандартным методом MC. (2) С нашей устойчивой стратегией обучения PRMs могут эффективно обучаться на основе слабого контроля, демонстрируя улучшение на 39,2 балла F1 (с 19,9 до 59,1) в ProcessBench. Несмотря на использование только компактного синтетического набора данных, наши модели превосходят сильные базовые подходы, включая те, которые обучены на крупномасштабных наборах данных, аннотированных человеком, таких как PRM800K. Более того, производительность продолжает улучшаться по мере увеличения объема синтетических данных, что подчеркивает потенциал SCAN для масштабируемого, экономически эффективного и устойчивого обучения PRMs.

English

Process reward models (PRMs) offer fine-grained, step-level evaluations that facilitate deeper reasoning processes in large language models (LLMs), proving effective in complex tasks like mathematical reasoning. However, developing PRMs is challenging due to the high cost and limited scalability of human-annotated data. Synthetic data from Monte Carlo (MC) estimation is a promising alternative but suffers from a high noise ratio, which can cause overfitting and hinder large-scale training. In this work, we conduct a preliminary study on the noise distribution in synthetic data from MC estimation, identifying that annotation models tend to both underestimate and overestimate step correctness due to limitations in their annotation capabilities. Building on these insights, we propose Self-Denoising Monte Carlo Annotation (SCAN), an efficient data synthesis and noise-tolerant learning framework. Our key findings indicate that: (1) Even lightweight models (e.g., 1.5B parameters) can produce high-quality annotations through a self-denoising strategy, enabling PRMs to achieve superior performance with only 6% the inference cost required by vanilla MC estimation. (2) With our robust learning strategy, PRMs can effectively learn from this weak supervision, achieving a 39.2 F1 score improvement (from 19.9 to 59.1) in ProcessBench. Despite using only a compact synthetic dataset, our models surpass strong baselines, including those trained on large-scale human-annotated datasets such as PRM800K. Furthermore, performance continues to improve as we scale up the synthetic data, highlighting the potential of SCAN for scalable, cost-efficient, and robust PRM training.