OPV: Verificatore di Processo Basato sui Risultati per una Verifica Efficiente di Lunghe Catene di Ragionamento

OPV: Outcome-based Process Verifier for Efficient Long Chain-of-Thought Verification

December 11, 2025

Autori: Zijian Wu, Lingkai Kong, Wenwei Zhang, Songyang Gao, Yuzhe Gu, Zhongrui Cai, Tianyou Ma, Yuhong Liu, Zhi Wang, Runyuan Ma, Guangyu Wang, Wei Li, Conghui He, Dahua Lin, Kai Chen

cs.AI

Abstract

I grandi modelli linguistici (LLM) hanno ottenuto progressi significativi nella risoluzione di compiti di ragionamento complesso grazie al Reinforcement Learning con Ricompense Verificabili (RLVR). Questo avanzamento è altresì inseparabile dalla supervisione automatizzata da parte di verificatori affidabili. Tuttavia, gli attuali verificatori basati sul risultato (OV) non sono in grado di ispezionare i passaggi intermedi inaffidabili nelle lunghe catene di ragionamento (CoT). Nel frattempo, gli attuali verificatori basati sul processo (PV) incontrano difficoltà nell'individuare in modo affidabile gli errori nelle CoT lunghe e complesse, limitati dalla scarsità di annotazioni di alta qualità a causa dei costi proibitivi delle annotazioni umane. Pertanto, proponiamo il Verificatore di Processo basato su Risultato (OPV), che verifica il processo logico dei risultati sintetizzati da CoT lunghe per ottenere una verifica sia accurata che efficiente e consentire annotazioni su larga scala. Per potenziare il verificatore proposto, adottiamo un framework iterativo di apprendimento attivo con annotazioni di esperti per migliorare progressivamente la capacità di verifica dell'OPV con costi di annotazione inferiori. Nello specifico, in ogni iterazione, i casi più incerti del miglior OPV corrente vengono annotati e successivamente utilizzati per addestrare un nuovo OPV attraverso Rejection Fine-Tuning (RFT) e RLVR per il round successivo. Esperimenti estensivi dimostrano le prestazioni superiori e l'ampia applicabilità di OPV. Ottiene nuovi risultati state-of-the-art sul nostro OPV-Bench riservato, superando modelli open-source molto più grandi come Qwen3-Max-Preview con un punteggio F1 di 83,1 rispetto a 76,3. Inoltre, OPV rileva efficacemente i falsi positivi all'interno di dataset sintetici, allineandosi strettamente alla valutazione degli esperti. Quando collabora con modelli policy, OPV produce costantemente miglioramenti delle prestazioni, ad esempio, aumentando l'accuratezza di DeepSeek-R1-Distill-Qwen-32B dal 55,2% al 73,3% su AIME2025 man mano che il budget computazionale aumenta.

English

Large language models (LLMs) have achieved significant progress in solving complex reasoning tasks by Reinforcement Learning with Verifiable Rewards (RLVR). This advancement is also inseparable from the oversight automated by reliable verifiers. However, current outcome-based verifiers (OVs) are unable to inspect the unreliable intermediate steps in the long reasoning chains of thought (CoTs). Meanwhile, current process-based verifiers (PVs) have difficulties in reliably detecting errors in the complex long CoTs, limited by the scarcity of high-quality annotations due to the prohibitive costs of human annotations. Therefore, we propose the Outcome-based Process Verifier (OPV), which verifies the rationale process of summarized outcomes from long CoTs to achieve both accurate and efficient verification and enable large-scale annotation. To empower the proposed verifier, we adopt an iterative active learning framework with expert annotations to progressively improve the verification capability of OPV with fewer annotation costs. Specifically, in each iteration, the most uncertain cases of the current best OPV are annotated and then subsequently used to train a new OPV through Rejection Fine-Tuning (RFT) and RLVR for the next round. Extensive experiments demonstrate OPV's superior performance and broad applicability. It achieves new state-of-the-art results on our held-out OPV-Bench, outperforming much larger open-source models such as Qwen3-Max-Preview with an F1 score of 83.1 compared to 76.3. Furthermore, OPV effectively detects false positives within synthetic dataset, closely align with expert assessment. When collaborating with policy models, OPV consistently yields performance gains, e.g., raising the accuracy of DeepSeek-R1-Distill-Qwen-32B from 55.2% to 73.3% on AIME2025 as the compute budget scales.