VerifyBench: 大規模言語モデルのための参照ベース報酬システムのベンチマーキング

要旨

OpenAI o1やDeepSeek-R1のような大規模推論モデルは、推論領域で顕著な性能を達成しています。そのトレーニングの重要な要素は、強化学習（RL）内で検証可能な報酬を組み込むことです。しかし、既存の報酬ベンチマークは参照ベースの報酬システムを評価しておらず、RLで使用される検証器の精度に関する研究者の理解は限られています。本論文では、参照ベースの報酬システムの性能を評価するために、VerifyBenchとVerifyBench-Hardという2つのベンチマークを導入します。これらのベンチマークは、綿密なデータ収集とキュレーションを経て構築され、高品質を保証するために慎重な人間による注釈が施されています。現在のモデルは、特に小規模モデルにおいて、VerifyBenchとVerifyBench-Hardの両方でまだ改善の余地が大きいことが示されています。さらに、評価結果の徹底的かつ包括的な分析を行い、参照ベースの報酬システムの理解と開発に向けた洞察を提供します。提案するベンチマークは、検証器の精度とRLでトレーニングされたモデルの推論能力の開発を導く効果的なツールとして機能します。

English

Large reasoning models such as OpenAI o1 and DeepSeek-R1 have achieved remarkable performance in the domain of reasoning. A key component of their training is the incorporation of verifiable rewards within reinforcement learning (RL). However, existing reward benchmarks do not evaluate reference-based reward systems, leaving researchers with limited understanding of the accuracy of verifiers used in RL. In this paper, we introduce two benchmarks, VerifyBench and VerifyBench-Hard, designed to assess the performance of reference-based reward systems. These benchmarks are constructed through meticulous data collection and curation, followed by careful human annotation to ensure high quality. Current models still show considerable room for improvement on both VerifyBench and VerifyBench-Hard, especially smaller-scale models. Furthermore, we conduct a thorough and comprehensive analysis of evaluation results, offering insights for understanding and developing reference-based reward systems. Our proposed benchmarks serve as effective tools for guiding the development of verifier accuracy and the reasoning capabilities of models trained via RL in reasoning tasks.

VerifyBench: 大規模言語モデルのための参照ベース報酬システムのベンチマーキング

VerifyBench: Benchmarking Reference-based Reward Systems for Large Language Models

要旨

Support