Pièges des vérificateurs basés sur des règles et des modèles — Une étude de cas sur le raisonnement mathématique

Pitfalls of Rule- and Model-based Verifiers -- A Case Study on Mathematical Reasoning

May 28, 2025

Auteurs: Yuzhen Huang, Weihao Zeng, Xingshan Zeng, Qi Zhu, Junxian He

cs.AI

Résumé

Les vérificateurs fiables sont essentiels au succès de l'apprentissage par renforcement avec récompense vérifiable (RLVR), qui constitue la méthodologie centrale derrière divers modèles de raisonnement à grande échelle tels que DeepSeek-R1. Dans des domaines complexes comme le raisonnement mathématique, les vérificateurs basés sur des règles ont été largement adoptés dans les travaux précédents pour entraîner des modèles de raisonnement performants. Cependant, la fiabilité de ces vérificateurs et leur impact sur le processus d'entraînement par renforcement restent mal compris. Dans cette étude, nous prenons le raisonnement mathématique comme cas d'analyse et menons une évaluation approfondie de divers vérificateurs dans des scénarios d'évaluation statique et d'entraînement par renforcement. Tout d'abord, nous constatons que les vérificateurs basés sur des règles actuellement disponibles en open source échouent souvent à reconnaître des réponses équivalentes présentées sous différents formats dans plusieurs ensembles de données mathématiques couramment utilisés, ce qui entraîne des taux non négligeables de faux négatifs. Cette limitation affecte négativement les performances de l'entraînement par renforcement et devient plus prononcée à mesure que le modèle de politique se renforce. Par la suite, nous explorons les vérificateurs basés sur des modèles comme solution potentielle pour surmonter ces limites. Bien que l'évaluation statique montre que les vérificateurs basés sur des modèles atteignent une précision de vérification significativement plus élevée, des analyses approfondies et les résultats de l'entraînement par renforcement suggèrent qu'ils sont très vulnérables au piratage, où ils classent à tort certains motifs dans les réponses comme corrects (c'est-à-dire des faux positifs). Cette vulnérabilité est exploitée lors de l'optimisation du modèle de politique, conduisant à des récompenses artificiellement gonflées. Nos résultats mettent en évidence les risques uniques inhérents aux vérificateurs basés sur des règles et sur des modèles, visant à offrir des insights précieux pour développer des systèmes de récompense plus robustes dans l'apprentissage par renforcement.

English

Trustworthy verifiers are essential for the success of reinforcement learning with verifiable reward (RLVR), which is the core methodology behind various large reasoning models such as DeepSeek-R1. In complex domains like mathematical reasoning, rule-based verifiers have been widely adopted in previous works to train strong reasoning models. However, the reliability of these verifiers and their impact on the RL training process remain poorly understood. In this work, we take mathematical reasoning as a case study and conduct a comprehensive analysis of various verifiers in both static evaluation and RL training scenarios. First, we find that current open-source rule-based verifiers often fail to recognize equivalent answers presented in different formats across multiple commonly used mathematical datasets, resulting in non-negligible false negative rates. This limitation adversely affects RL training performance and becomes more pronounced as the policy model gets stronger. Subsequently, we investigate model-based verifiers as a potential solution to address these limitations. While the static evaluation shows that model-based verifiers achieve significantly higher verification accuracy, further analysis and RL training results imply that they are highly susceptible to hacking, where they misclassify certain patterns in responses as correct (i.e., false positives). This vulnerability is exploited during policy model optimization, leading to artificially inflated rewards. Our findings underscore the unique risks inherent to both rule-based and model-based verifiers, aiming to offer valuable insights to develop more robust reward systems in reinforcement learning.