MATH-Beyond: ベースモデルを超える強化学習のためのベンチマーク

要旨

DeepSeek-R1の登場により、強化学習（RL）手法の新たな波が生まれ、より強力な数学的推論を可能にしているように見える。しかし、オープンソースのエコシステムを詳しく見ると、重要な限界が明らかになる。十分な数の試行（例：pass@1024）を行うと、多くの既存のベースモデルは、MATH-500やAIME 2024などの広く使用されている数学ベンチマークのほぼすべての問題をすでに解決している。これは、LLM推論文献で主流となっているRLファインチューニング手法が、既存の解決モードを鋭くするだけで、全く新しいモードを発見するものではないことを示唆している。このような鋭さは、RLのより広範な約束、すなわち探索を促進し、新しいスキルを獲得することとは対照的である。この高原状態を超えるために、我々はMATH-Beyond（MATH-B）を導入する。これは、大規模なサンプリング予算の下でも、最大8Bパラメータの一般的なオープンソースモデルを打ち負かすように意図的に構築されたベンチマークである。我々のベンチマークでのパフォーマンスをRLによって改善するためには、ベースモデルの能力を超えた推論方法を繰り返しサンプリングする手法が必要である。問題はDAPO-Math-17KとDeepScaleRデータセットのサブセットから抽出されているため、トピック的には標準的な高校数学と同等である。Nemotron-Research-Reasoning-Qwen-1.5BやDeepScaleR-1.5B-PreviewなどのRLファインチューニングモデルが、pass@1024でMATH-Bにおいて低いパフォーマンスを示すことで、既存のアプローチがより難しいインスタンスに対処するのに不十分であることが検証された。我々は、MATH-Bが、より深い推論能力を引き出す探索駆動型RLアプローチの触媒となることを期待している。MATH-Bはhttps://huggingface.co/datasets/brendel-group/MATH-Beyondで公開されている。

English

With the advent of DeepSeek-R1, a new wave of reinforcement learning (RL) methods has emerged that seem to unlock stronger mathematical reasoning. However, a closer look at the open-source ecosystem reveals a critical limitation: with sufficiently many draws (e.g., pass@1024), many existing base models already solve nearly all questions on widely used math benchmarks such as MATH-500 and AIME 2024. This suggests that the RL fine-tuning methods prevalent in the LLM reasoning literature largely sharpen existing solution modes rather than discovering entirely new ones. Such sharpening stands in contrast to the broader promise of RL: to foster exploration and to acquire new skills. To move beyond this plateau, we introduce MATH-Beyond (MATH-B), a benchmark deliberately constructed to defeat common open-source models of up to 8B parameters even under large sampling budgets. Improving performance on our benchmark via RL requires methods that learn to reason in ways that go beyond base model capabilities in repeated sampling. Since the problems are drawn from subsets of DAPO-Math-17K and DeepScaleR datasets, they remain topically equivalent to standard high-school math. Validating our premise, RL fine-tuned models such as Nemotron-Research-Reasoning-Qwen-1.5B and DeepScaleR-1.5B-Preview perform poorly on MATH-B at pass@1024, showing how existing approaches fall short on tackling harder instances. We hope MATH-B will catalyze exploration-driven RL approaches that elicit deeper reasoning capabilities. We release MATH-B at https://huggingface.co/datasets/brendel-group/MATH-Beyond.

MATH-Beyond: ベースモデルを超える強化学習のためのベンチマーク

MATH-Beyond: A Benchmark for RL to Expand Beyond the Base Model

要旨

Support