ルールおよびモデルベース検証器の落とし穴――数学的推論に関する事例研究

Pitfalls of Rule- and Model-based Verifiers -- A Case Study on Mathematical Reasoning

May 28, 2025

著者: Yuzhen Huang, Weihao Zeng, Xingshan Zeng, Qi Zhu, Junxian He

cs.AI

要旨

信頼性の高い検証器は、検証可能な報酬を伴う強化学習（RLVR）の成功に不可欠であり、これはDeepSeek-R1などの大規模な推論モデルの背後にある中核的な方法論である。数学的推論のような複雑な領域では、これまでの研究においてルールベースの検証器が広く採用され、強力な推論モデルの訓練に用いられてきた。しかし、これらの検証器の信頼性と、それらがRL訓練プロセスに与える影響については十分に理解されていない。本研究では、数学的推論を事例として取り上げ、静的評価とRL訓練の両シナリオにおいて、さまざまな検証器の包括的な分析を行った。まず、現在のオープンソースのルールベース検証器は、複数の一般的に使用される数学データセットにおいて、異なる形式で提示された等価な解答を認識できないことが多く、無視できない偽陰性率を生じていることが明らかになった。この制約はRL訓練の性能に悪影響を及ぼし、ポリシーモデルが強くなるほどその影響が顕著になる。続いて、これらの制約を解決するための潜在的な解決策として、モデルベースの検証器を調査した。静的評価では、モデルベースの検証器が大幅に高い検証精度を達成することが示されたが、さらなる分析とRL訓練の結果から、特定の応答パターンを誤って正解と分類する（すなわち、偽陽性を生じる）ハッキングに対して非常に脆弱であることが示唆された。この脆弱性はポリシーモデルの最適化中に悪用され、人為的に報酬が過大評価される結果を招く。本研究の知見は、ルールベースおよびモデルベースの検証器に固有のリスクを浮き彫りにし、強化学習におけるより堅牢な報酬システムの開発に有益な洞察を提供することを目指している。

English

Trustworthy verifiers are essential for the success of reinforcement learning with verifiable reward (RLVR), which is the core methodology behind various large reasoning models such as DeepSeek-R1. In complex domains like mathematical reasoning, rule-based verifiers have been widely adopted in previous works to train strong reasoning models. However, the reliability of these verifiers and their impact on the RL training process remain poorly understood. In this work, we take mathematical reasoning as a case study and conduct a comprehensive analysis of various verifiers in both static evaluation and RL training scenarios. First, we find that current open-source rule-based verifiers often fail to recognize equivalent answers presented in different formats across multiple commonly used mathematical datasets, resulting in non-negligible false negative rates. This limitation adversely affects RL training performance and becomes more pronounced as the policy model gets stronger. Subsequently, we investigate model-based verifiers as a potential solution to address these limitations. While the static evaluation shows that model-based verifiers achieve significantly higher verification accuracy, further analysis and RL training results imply that they are highly susceptible to hacking, where they misclassify certain patterns in responses as correct (i.e., false positives). This vulnerability is exploited during policy model optimization, leading to artificially inflated rewards. Our findings underscore the unique risks inherent to both rule-based and model-based verifiers, aiming to offer valuable insights to develop more robust reward systems in reinforcement learning.