StudyBench: 자기진화는 교과서를 짜내어 올림피아드 역량을 얻을 수 있는가?

초록

인간은 한 학문 분야를 숙달하고 그 분야의 가장 어려운 문제에 도전하기 위해 잘 쓰인 교과서 몇 권만 공부하면 된다. 우리는 이상적인 자기진화 방법도 동일한 성질을 공유해야 한다고 주장한다. 즉, 전이 가능한 문제 해결 능력을 위해 원시 훈련 자료로부터 자율적으로 학습해야 한다. 그러나 우리는 아직 그것을 직접 측정할 수단을 갖고 있지 않다. 우리는 자기진화 방법이 훈련 자료를 능력으로 얼마나 효율적으로 변환하는지 직접 측정하는 통제된 물리 벤치마크인 StudyBench를 소개한다. 우리는 테스트 세트를 어려운 교과서 문제들로 구성되어 흡수 능력을 평가하는 응용 세트와, 올림피아드 수준 문제들로 구성되어 전이 능력을 평가하는 전이 세트로 조직한다. 세 가지 기본 모델에 걸쳐 대표적인 자기진화 방법들을 벤치마킹한 결과, 응용 세트에서의 개선은 더 어려운 전이 세트로 거의 이어지지 않는다. 가이던스 절제 실험은 가이던스 격차를 드러낸다: 가장 강력한 방법조차 동일한 자료가 문맥 내 가이던스로 제공될 때 얻어지는 향상의 극히 일부만 메운다. 게다가 모든 방법은 계산 플래토에 도달하여 계산 예산을 모두 소진하기 훨씬 전에 포화된다. 따라서 남은 격차는 데이터나 계산 문제가 아니라 방법론의 문제이다. 깨끗하고 통제된 벤치마크를 제공함으로써 StudyBench는 자기진화의 진전을 열린 탐구에서 향후 연구를 위한 측정 가능한 목표로 전환한다. 우리 코드는 https://github.com/thunlp/StudyBench 에 공개되어 있다.

English

Humans need to study only a handful of well-written textbooks to master a discipline and attempt its hardest problems. We argue that an ideal self-evolution method should share the same property, that is autonomously learning from raw training material for transferable problem-solving capability. However, we still lack a direct measurement for it. We introduce StudyBench, a controlled physics benchmark that directly measures how efficiently a self-evolution method converts training material into capability. We organise the test set into an Application Set, consisting of difficult textbook problems and evaluating absorption ability, and a Transfer Set, consisting of olympiad-level problems and evaluating transfer ability. Benchmarking representative self-evolution methods across three base models, we find that improvements on the Application Set rarely translate to the harder Transfer Set. A guidance ablation exposes a Guidance Gap: even the strongest method closes only a small fraction of what the same material unlocks when supplied as in-context guidance. Besides, every method hits a Compute Plateau, saturating well before exhausting its compute budget. The remaining gap is therefore a method problem rather than a data or compute problem. By offering a clean and controlled benchmark, StudyBench turns self-evolution progress from an open-ended pursuit into a measurable target for future research. Our code is released at https://github.com/thunlp/StudyBench.