エラータイピングによるスマートな報酬設計：エラーを考慮した階層的監督によるプロセス報酬モデルの改善

Error Typing for Smarter Rewards: Improving Process Reward Models with Error-Aware Hierarchical Supervision

May 26, 2025

著者: Tej Deep Pala, Panshul Sharma, Amir Zadeh, Chuan Li, Soujanya Poria

cs.AI

要旨

大規模言語モデル（LLM）は、特に数学的問題解決のようなマルチホップかつ推論集約的なタスクにおいて、幻覚を起こしやすい傾向があります。結果報酬モデルは最終的な答えのみを検証するのに対し、プロセス報酬モデル（PRM）は各中間ステップを評価し、一貫した解決策に向けた生成を導きます。本研究では、PathFinder-PRMという新しい階層的でエラーを意識した識別型PRMを提案します。これはまず各ステップで数学的エラーと一貫性エラーを分類し、これらの細かい信号を組み合わせてステップの正しさを推定します。PathFinder-PRMを訓練するために、人間が注釈を付けたPRM800KコーパスとRLHFlow Mistralのトレースを三次元のステップレベルラベルで拡充した40万サンプルのデータセットを構築しました。PRMBenchにおいて、PathFinder-PRMは67.7の新しい最高のPRMScoreを達成し、従来の最高値（65.5）を上回りながら、3分の1のデータ量でこれを実現しました。報酬誘導型貪欲探索に適用した場合、我々のモデルはprm@8で48.3を達成し、最強のベースラインよりも1.5ポイント向上しました。これらの結果は、エラー検出と報酬推定を分離することが、細かいエラー検出を向上させるだけでなく、データ効率を高めつつ、エンドツーエンドの報酬誘導型数学的推論を大幅に改善することを示しています。

English

Large Language Models (LLMs) are prone to hallucination, especially during multi-hop and reasoning-intensive tasks such as mathematical problem solving. While Outcome Reward Models verify only final answers, Process Reward Models (PRMs) score each intermediate step to steer generation toward coherent solutions. We introduce PathFinder-PRM, a novel hierarchical, error-aware discriminative PRM that first classifies math and consistency errors at each step, then combines these fine-grained signals to estimate step correctness. To train PathFinder-PRM, we construct a 400K-sample dataset by enriching the human-annotated PRM800K corpus and RLHFlow Mistral traces with three-dimensional step-level labels. On PRMBench, PathFinder-PRM achieves a new state-of-the-art PRMScore of 67.7, outperforming the prior best (65.5) while using 3 times less data. When applied to reward guided greedy search, our model yields prm@8 48.3, a +1.5 point gain over the strongest baseline. These results demonstrate that decoupled error detection and reward estimation not only boost fine-grained error detection but also substantially improve end-to-end, reward-guided mathematical reasoning with greater data efficiency.