事前学習から事後学習に至る推論の理解

要旨

強化学習（RL）は、複雑な推論タスクにおける大規模言語モデル（LLM）の性能向上において中心的な役割を果たしている。しかし、RLによる事後学習は、それに先立つ事前学習とは切り離して研究されることが大半である。その結果、次の二つの基本的な問いが未解決のまま残されている。（1）事前学習の選択（モデルサイズ、データ）はRLの計算資源へのリターンをどのように形成するのか、（2）RLはモデルに実際に何をもたらすのか。これらの問いは、標準的なLLMの設定では研究が困難である。事前学習のコーパスは膨大かつ統制が効かず、行動を事前学習とRLのどちらに帰すべきか判断しにくく、両段階にわたる体系的な計算資源のスイープは実行不可能なほど高コストだからである。これらの課題に取り組むため、本研究ではチェスを、事前学習から事後学習に至る全パイプラインにおける推論研究のための制御されたテストベッドとして用いる。標準的なLLM訓練パイプラインに従い、人間のチェスの棋譜を用いて5Mから1Bパラメータの言語モデルを事前学習し、合成された推論トレースで教師ありファインチューニング（SFT）を施し、検証可能な報酬を伴うチェスパズルでRLを実行する。この枠組みを用いて、以下の知見を得た。特定のRL計算量レベルにおけるRL後の性能は事前学習損失からよく予測でき、RLの報酬曲線の傾きは事前学習トークン数にほぼ比例して向上する。スケーリングを超えて、RLは単にSFT方針を研ぎ澄ますだけではない。簡単なパズルでは、SFT方針が既に好んでいた正しい手を増幅する一方、難しいパズルでは、SFTのもとではほぼ存在しなかった正しい手を表面化させる。さらに、これらの知見がチェス以外にも転移するかを検証するため、数学領域のテキストで1B言語モデルを訓練したところ、同じ予測パターンが現れた。すなわち、より長く事前学習されたチェックポイントはRL後の性能が高く、RL下での改善も速い。まとめると、本研究は事前学習とRLのインターフェースを定量的に説明し、事前学習から事後学習に至る全パイプラインにおける推論の科学的探求のための制御されたテストベッドを提供する。

English

Reinforcement learning (RL) has become central to improving large language models (LLMs) on complex reasoning tasks, yet RL post-training is largely studied in isolation from the pretraining that precedes it. As a result, two basic questions remain open: (1) how do pretraining choices (model size, data) shape the returns to RL compute, and (2) what does RL actually do to the model? These questions are difficult to study in the standard LLM setting: pretraining corpora are vast and uncontrolled, making it hard to attribute behaviors to pretraining versus RL, and systematic compute sweeps across both stages are prohibitively expensive. To address these challenges, we use chess as a controlled testbed for studying reasoning across the full pretraining-to-post-training pipeline. We follow the standard LLM training pipeline by pretraining language models from 5M to 1B parameters on human chess games, supervised fine-tuning on synthetic reasoning traces, and running RL on chess puzzles with verifiable rewards. Using this framework, we find that the post-RL performance at given RL compute level is well-predicted from the pretraining loss, and slope of the RL reward curves improves approximately linearly with the pretraining tokens. Beyond scaling, we find that RL does not simply sharpen the SFT policy: on easy puzzles it amplifies correct moves the SFT policy already preferred, while on hard puzzles it surfaces correct moves that were nearly absent under SFT. We further test whether our findings transfer beyond chess by training a 1B language model on math-domain text, where the same predictive pattern emerges: longer-pretrained checkpoints reach higher post-RL performance and improve faster under RL. In sum, we provide a quantitative account of the pretraining-to-RL interface and a controlled testbed for studying the science of reasoning across the full pretraining-to-post-training pipeline.