Insidie dei Verificatori Basati su Regole e Modelli - Uno Studio di Caso sul Ragionamento Matematico

Pitfalls of Rule- and Model-based Verifiers -- A Case Study on Mathematical Reasoning

May 28, 2025

Autori: Yuzhen Huang, Weihao Zeng, Xingshan Zeng, Qi Zhu, Junxian He

cs.AI

Abstract

Verificatori affidabili sono essenziali per il successo del reinforcement learning con ricompensa verificabile (RLVR), che rappresenta la metodologia centrale dietro vari modelli di ragionamento su larga scala come DeepSeek-R1. In domini complessi come il ragionamento matematico, verificatori basati su regole sono stati ampiamente adottati in lavori precedenti per addestrare modelli di ragionamento robusti. Tuttavia, l'affidabilità di questi verificatori e il loro impatto sul processo di addestramento RL rimangono poco compresi. In questo lavoro, prendiamo il ragionamento matematico come caso di studio e conduciamo un'analisi completa di vari verificatori sia in scenari di valutazione statica che di addestramento RL. In primo luogo, scopriamo che gli attuali verificatori open-source basati su regole spesso non riescono a riconoscere risposte equivalenti presentate in formati diversi su più dataset matematici comunemente utilizzati, risultando in tassi di falsi negativi non trascurabili. Questa limitazione influisce negativamente sulle prestazioni dell'addestramento RL e diventa più evidente man mano che il modello di policy diventa più forte. Successivamente, investigiamo i verificatori basati su modelli come una potenziale soluzione per affrontare queste limitazioni. Sebbene la valutazione statica mostri che i verificatori basati su modelli raggiungono un'accuratezza di verifica significativamente più elevata, ulteriori analisi e risultati dell'addestramento RL suggeriscono che sono altamente suscettibili a manipolazioni, in cui classificano erroneamente determinati pattern nelle risposte come corretti (cioè falsi positivi). Questa vulnerabilità viene sfruttata durante l'ottimizzazione del modello di policy, portando a ricompense artificialmente gonfiate. Le nostre scoperte evidenziano i rischi unici intrinseci sia ai verificatori basati su regole che su modelli, con l'obiettivo di offrire spunti preziosi per sviluppare sistemi di ricompensa più robusti nel reinforcement learning.

English

Trustworthy verifiers are essential for the success of reinforcement learning with verifiable reward (RLVR), which is the core methodology behind various large reasoning models such as DeepSeek-R1. In complex domains like mathematical reasoning, rule-based verifiers have been widely adopted in previous works to train strong reasoning models. However, the reliability of these verifiers and their impact on the RL training process remain poorly understood. In this work, we take mathematical reasoning as a case study and conduct a comprehensive analysis of various verifiers in both static evaluation and RL training scenarios. First, we find that current open-source rule-based verifiers often fail to recognize equivalent answers presented in different formats across multiple commonly used mathematical datasets, resulting in non-negligible false negative rates. This limitation adversely affects RL training performance and becomes more pronounced as the policy model gets stronger. Subsequently, we investigate model-based verifiers as a potential solution to address these limitations. While the static evaluation shows that model-based verifiers achieve significantly higher verification accuracy, further analysis and RL training results imply that they are highly susceptible to hacking, where they misclassify certain patterns in responses as correct (i.e., false positives). This vulnerability is exploited during policy model optimization, leading to artificially inflated rewards. Our findings underscore the unique risks inherent to both rule-based and model-based verifiers, aiming to offer valuable insights to develop more robust reward systems in reinforcement learning.