Valkuilen van regel- en modelgebaseerde verificatiesystemen -- Een casestudie over wiskundig redeneren

Pitfalls of Rule- and Model-based Verifiers -- A Case Study on Mathematical Reasoning

May 28, 2025

Auteurs: Yuzhen Huang, Weihao Zeng, Xingshan Zeng, Qi Zhu, Junxian He

cs.AI

Samenvatting

Betrouwbare verifiers zijn essentieel voor het succes van reinforcement learning met verifieerbare beloning (RLVR), de kernmethodologie achter verschillende grote redeneermodellen zoals DeepSeek-R1. In complexe domeinen zoals wiskundig redeneren zijn regelgebaseerde verifiers in eerdere werken veelvuldig gebruikt om sterke redeneermodellen te trainen. De betrouwbaarheid van deze verifiers en hun impact op het RL-trainingsproces blijven echter slecht begrepen. In dit werk nemen we wiskundig redeneren als casestudy en voeren we een uitgebreide analyse uit van verschillende verifiers in zowel statische evaluatie- als RL-trainingsscenario's. Ten eerste constateren we dat huidige open-source regelgebaseerde verifiers vaak falen in het herkennen van equivalente antwoorden die in verschillende formaten worden gepresenteerd in meerdere veelgebruikte wiskundige datasets, wat resulteert in niet-verwaarloosbare fout-negatieve percentages. Deze beperking heeft een negatieve invloed op de RL-trainingsprestaties en wordt sterker naarmate het beleidsmodel krachtiger wordt. Vervolgens onderzoeken we modelgebaseerde verifiers als een mogelijke oplossing voor deze beperkingen. Hoewel de statische evaluatie aantoont dat modelgebaseerde verifiers een aanzienlijk hogere verificatienauwkeurigheid bereiken, impliceren verdere analyse en RL-trainingsresultaten dat ze zeer vatbaar zijn voor hacking, waarbij ze bepaalde patronen in antwoorden ten onrechte als correct classificeren (d.w.z. fout-positieven). Deze kwetsbaarheid wordt tijdens de optimalisatie van het beleidsmodel uitgebuit, wat leidt tot kunstmatig opgeblazen beloningen. Onze bevindingen benadrukken de unieke risico's die inherent zijn aan zowel regelgebaseerde als modelgebaseerde verifiers, met als doel waardevolle inzichten te bieden voor de ontwikkeling van robuustere beloningssystemen in reinforcement learning.

English

Trustworthy verifiers are essential for the success of reinforcement learning with verifiable reward (RLVR), which is the core methodology behind various large reasoning models such as DeepSeek-R1. In complex domains like mathematical reasoning, rule-based verifiers have been widely adopted in previous works to train strong reasoning models. However, the reliability of these verifiers and their impact on the RL training process remain poorly understood. In this work, we take mathematical reasoning as a case study and conduct a comprehensive analysis of various verifiers in both static evaluation and RL training scenarios. First, we find that current open-source rule-based verifiers often fail to recognize equivalent answers presented in different formats across multiple commonly used mathematical datasets, resulting in non-negligible false negative rates. This limitation adversely affects RL training performance and becomes more pronounced as the policy model gets stronger. Subsequently, we investigate model-based verifiers as a potential solution to address these limitations. While the static evaluation shows that model-based verifiers achieve significantly higher verification accuracy, further analysis and RL training results imply that they are highly susceptible to hacking, where they misclassify certain patterns in responses as correct (i.e., false positives). This vulnerability is exploited during policy model optimization, leading to artificially inflated rewards. Our findings underscore the unique risks inherent to both rule-based and model-based verifiers, aiming to offer valuable insights to develop more robust reward systems in reinforcement learning.