PaperGym: 연구 계획 생성을 위한 루브릭 중심 진화

초록

연구 계획 수립은 AI 과학자에게 결정적인 능력이다. 그러나 연구 계획은 검증 가능한 답이 없으므로, 강화 학습은 필요한 환경, 즉 비평가(critic)와 짝지어진 과제를 갖추지 못한다. 과학 논문에서 추출한 루브릭이 비평가 역할을 제공할 수 있다. 그러나 기존 파이프라인은 질문과 평가 기준을 동일한 내용에서 도출하므로, 패러프레이즈만으로도 보상을 얻을 수 있다. 또한 루브릭은 롤아웃마다 단일 스칼라 값으로 압축된다. 우리는 각 연구 논문을 완전한 훈련 환경으로 전환하는 통합 프레임워크 PaperGym을 제안한다. PaperGym은 논문의 구조를 활용한다: 질문은 연구 목표와 배경에서 종합되고, 평가 기준은 방법과 실험에서 도출된다. 평가 기준은 방법론적 혁신과 실험 설계를 아우르며, 기준 누출은 기존 데이터셋의 11.90%~34.10%에 비해 3.7%로 감소한다. 훈련은 루브릭을 두 번 사용한다: 먼저 OPSD의 셀프 티처를 위한 특권 맥락으로, 그다음 GRPO의 보상으로 사용한다. Qwen3-1.7B/4B/8B 전반에 걸쳐, 이 훈련 일정은 지도 미세 조정, 각 단계 단독 사용, 그리고 반대 순서 적용보다 우수하며, 다섯 개 벤치마크 평균을 각각 +5.6, +5.0, +4.8 포인트 향상시킨다. 절차를 고정했을 때, PaperGym-20k로 훈련된 모델은 삼자 비교에서 58.1%의 승률을 기록하여 RubricHub Science의 28.2%를 능가한다. 훈련된 Qwen3-8B는 ResearchQA에서 73.48을 달성하여, 훨씬 더 큰 규모의 Kimi K2.6을 능가한다. 우리는 파이프라인, 20,000개 인스턴스로 구성된 코퍼스 PaperGym-20k, 그리고 벤치마크 PaperGym-Innov와 PaperGym-Design을 공개한다.

English

Research planning is the decisive capability of AI scientists. Yet a research plan admits no verifiable answer, so reinforcement learning lacks the environment it requires: tasks paired with a critic. Rubrics extracted from scientific papers can supply the critic. Existing pipelines, however, draw the question and the criteria from the same content, so the reward can be earned by paraphrase. The rubric is further compressed into a single scalar per rollout. We introduce PaperGym, a unified framework that turns each research paper into a complete training environment. PaperGym exploits the structure of a paper: the question is synthesized from the research goal and background, while the criteria are derived from the method and experiments. The criteria span methodological innovation and experimental design, and criterion leakage falls to 3.7%, versus 11.90% to 34.10% in existing datasets. Training uses the rubric twice: first as privileged context for OPSD's self-teacher, then as the reward for GRPO. Across Qwen3-1.7B/4B/8B, this schedule outperforms supervised fine-tuning, either stage alone, and the reverse ordering, improving five-benchmark averages by +5.6, +5.0, and +4.8 points. With the recipe held fixed, models trained on PaperGym-20k win 58.1% of three-way comparisons, against 28.2% for RubricHub Science. The trained Qwen3-8B reaches 73.48 on ResearchQA, above the far larger Kimi K2.6. We release the pipeline, the 20,000-instance corpus PaperGym-20k, and the benchmarks PaperGym-Innov and PaperGym-Design.