StudyBench：自己進化は教科書からオリンピアード能力を搾り出せるか？

要旨

人間は、ある学問分野を習得し、その最も難しい問題に挑むために、ほんの一握りのよく書かれた教科書を学ぶだけでよい。我々は、理想的な自己進化手法も同じ性質を備えるべきだと主張する。すなわち、転移可能な問題解決能力を獲得するために、生の訓練素材から自律的に学習することである。しかし、そのための直接的な測定法は依然として欠けている。我々はStudyBenchを導入する。これは、自己進化手法が訓練素材を能力へどれだけ効率的に変換するかを直接測定する、統制された物理ベンチマークである。我々はテストセットを、難しい教科書問題からなり吸収能力を評価する応用セットと、オリンピック級問題からなり転移能力を評価する転移セットに編成する。3つのベースモデルにわたり代表的な自己進化手法をベンチマーク評価すると、応用セットでの改善が、より難しい転移セットへとほとんど波及しないことが分かる。ガイダンスのアブレーションはガイダンスギャップを露呈する。すなわち、最も強力な手法であっても、同じ素材をインコンテキスト・ガイダンスとして与えたときにそれが引き出す能力のごく一部しか埋められない。さらに、あらゆる手法は計算プラトーに達し、計算予算を使い果たすよりはるかに前に飽和する。したがって、残されたギャップはデータや計算資源の問題ではなく、手法上の問題である。クリーンで統制されたベンチマークを提供することで、StudyBenchは自己進化の進展を、終わりのない探求から将来の研究に向けた測定可能な目標へと変える。コードは https://github.com/thunlp/StudyBench で公開されている。

English

Humans need to study only a handful of well-written textbooks to master a discipline and attempt its hardest problems. We argue that an ideal self-evolution method should share the same property, that is autonomously learning from raw training material for transferable problem-solving capability. However, we still lack a direct measurement for it. We introduce StudyBench, a controlled physics benchmark that directly measures how efficiently a self-evolution method converts training material into capability. We organise the test set into an Application Set, consisting of difficult textbook problems and evaluating absorption ability, and a Transfer Set, consisting of olympiad-level problems and evaluating transfer ability. Benchmarking representative self-evolution methods across three base models, we find that improvements on the Application Set rarely translate to the harder Transfer Set. A guidance ablation exposes a Guidance Gap: even the strongest method closes only a small fraction of what the same material unlocks when supplied as in-context guidance. Besides, every method hits a Compute Plateau, saturating well before exhausting its compute budget. The remaining gap is therefore a method problem rather than a data or compute problem. By offering a clean and controlled benchmark, StudyBench turns self-evolution progress from an open-ended pursuit into a measurable target for future research. Our code is released at https://github.com/thunlp/StudyBench.