PaperGym：研究計画生成のためのルーブリック中心の進化

要旨

研究計画はAI科学者の決定的な能力である。しかし、研究計画には検証可能な答えが存在しないため、強化学習には必要な環境、すなわち評価者と対になったタスクが欠けている。科学論文から抽出したルーブリックが評価者を提供できる。しかし、既存のパイプラインは質問と評価基準を同じ内容から引き出しているため、言い換えによって報酬を獲得できる。さらに、ルーブリックはロールアウトごとに単一のスカラー値へと圧縮される。我々は、各研究論文を完全なトレーニング環境へと変換する統合フレームワークであるPaperGymを紹介する。PaperGymは論文の構造を活用する。すなわち、質問は研究目標と背景から合成され、評価基準は手法と実験から導出される。評価基準は方法論的革新と実験デザインにわたり、基準リーケージは既存データセットの11.90%〜34.10%に対し3.7%に低下する。トレーニングではルーブリックを2回使用する。最初にOPSDの自己教師のための特権的文脈として、次にGRPOの報酬としてである。Qwen3-1.7B/4B/8Bにおいて、このスケジュールは教師ありファインチューニング、いずれかの段階単独、および逆順序を上回り、5つのベンチマーク平均を+5.6、+5.0、+4.8ポイント改善する。レシピを固定した状態で、PaperGym-20kで学習したモデルは三者比較の58.1%で勝利し、RubricHub Scienceの28.2%を上回る。学習済みQwen3-8BはResearchQAで73.48に達し、はるかに大規模なKimi K2.6を上回る。我々は、パイプライン、20,000インスタンスのコーパスPaperGym-20k、およびベンチマークPaperGym-InnovとPaperGym-Designを公開する。

English

Research planning is the decisive capability of AI scientists. Yet a research plan admits no verifiable answer, so reinforcement learning lacks the environment it requires: tasks paired with a critic. Rubrics extracted from scientific papers can supply the critic. Existing pipelines, however, draw the question and the criteria from the same content, so the reward can be earned by paraphrase. The rubric is further compressed into a single scalar per rollout. We introduce PaperGym, a unified framework that turns each research paper into a complete training environment. PaperGym exploits the structure of a paper: the question is synthesized from the research goal and background, while the criteria are derived from the method and experiments. The criteria span methodological innovation and experimental design, and criterion leakage falls to 3.7%, versus 11.90% to 34.10% in existing datasets. Training uses the rubric twice: first as privileged context for OPSD's self-teacher, then as the reward for GRPO. Across Qwen3-1.7B/4B/8B, this schedule outperforms supervised fine-tuning, either stage alone, and the reverse ordering, improving five-benchmark averages by +5.6, +5.0, and +4.8 points. With the recipe held fixed, models trained on PaperGym-20k win 58.1% of three-way comparisons, against 28.2% for RubricHub Science. The trained Qwen3-8B reaches 73.48 on ResearchQA, above the far larger Kimi K2.6. We release the pipeline, the 20,000-instance corpus PaperGym-20k, and the benchmarks PaperGym-Innov and PaperGym-Design.