Fallstricke regel- und modellbasierter Verifizierer – Eine Fallstudie zum mathematischen Denken

Pitfalls of Rule- and Model-based Verifiers -- A Case Study on Mathematical Reasoning

May 28, 2025

Autoren: Yuzhen Huang, Weihao Zeng, Xingshan Zeng, Qi Zhu, Junxian He

cs.AI

Zusammenfassung

Vertrauenswürdige Verifizierer sind entscheidend für den Erfolg von Reinforcement Learning mit verifizierbaren Belohnungen (RLVR), der Kernmethodik hinter verschiedenen großen Reasoning-Modellen wie DeepSeek-R1. In komplexen Domänen wie dem mathematischen Reasoning wurden regelbasierte Verifizierer in früheren Arbeiten häufig eingesetzt, um leistungsstarke Reasoning-Modelle zu trainieren. Die Zuverlässigkeit dieser Verifizierer und ihre Auswirkungen auf den RL-Trainingsprozess sind jedoch noch weitgehend unerforscht. In dieser Arbeit nehmen wir das mathematische Reasoning als Fallstudie und führen eine umfassende Analyse verschiedener Verifizierer sowohl in statischen Evaluierungsszenarien als auch in RL-Trainingsszenarien durch. Zunächst stellen wir fest, dass aktuelle Open-Source-regelbasierte Verifizierer oft äquivalente Antworten, die in unterschiedlichen Formaten präsentiert werden, in mehreren häufig verwendeten mathematischen Datensätzen nicht erkennen, was zu nicht vernachlässigbaren falsch-negativen Raten führt. Diese Einschränkung beeinträchtigt die RL-Trainingsleistung und wird mit zunehmender Stärke des Policy-Modells noch deutlicher. Anschließend untersuchen wir modellbasierte Verifizierer als potenzielle Lösung zur Überwindung dieser Einschränkungen. Während die statische Evaluierung zeigt, dass modellbasierte Verifizierer eine deutlich höhere Verifizierungsgenauigkeit erreichen, deuten weitere Analysen und RL-Trainingsergebnisse darauf hin, dass sie anfällig für Hacking sind, bei dem bestimmte Muster in Antworten fälschlicherweise als korrekt klassifiziert werden (d.h. falsch-positive Ergebnisse). Diese Anfälligkeit wird während der Optimierung des Policy-Modells ausgenutzt, was zu künstlich aufgeblähten Belohnungen führt. Unsere Ergebnisse unterstreichen die einzigartigen Risiken, die sowohl regelbasierten als auch modellbasierten Verifizierern innewohnen, und zielen darauf ab, wertvolle Einblicke für die Entwicklung robusterer Belohnungssysteme im Reinforcement Learning zu bieten.

English

Trustworthy verifiers are essential for the success of reinforcement learning with verifiable reward (RLVR), which is the core methodology behind various large reasoning models such as DeepSeek-R1. In complex domains like mathematical reasoning, rule-based verifiers have been widely adopted in previous works to train strong reasoning models. However, the reliability of these verifiers and their impact on the RL training process remain poorly understood. In this work, we take mathematical reasoning as a case study and conduct a comprehensive analysis of various verifiers in both static evaluation and RL training scenarios. First, we find that current open-source rule-based verifiers often fail to recognize equivalent answers presented in different formats across multiple commonly used mathematical datasets, resulting in non-negligible false negative rates. This limitation adversely affects RL training performance and becomes more pronounced as the policy model gets stronger. Subsequently, we investigate model-based verifiers as a potential solution to address these limitations. While the static evaluation shows that model-based verifiers achieve significantly higher verification accuracy, further analysis and RL training results imply that they are highly susceptible to hacking, where they misclassify certain patterns in responses as correct (i.e., false positives). This vulnerability is exploited during policy model optimization, leading to artificially inflated rewards. Our findings underscore the unique risks inherent to both rule-based and model-based verifiers, aiming to offer valuable insights to develop more robust reward systems in reinforcement learning.