사전 학습에서 후속 학습까지의 추론 이해

초록

강화 학습(RL)은 복잡한 추론 과제에서 대규모 언어 모델(LLM)의 성능을 향상시키는 데 핵심적인 역할을 하게 되었지만, RL 후속 학습은 그보다 선행되는 사전 학습과 분리된 상태로 주로 연구되고 있다. 그 결과, 두 가지 기본적인 질문이 남아 있다. (1) 사전 학습의 선택(모델 크기, 데이터)이 RL 컴퓨팅의 수익률을 어떻게 결정하는가, (2) RL이 실제로 모델에 무엇을 하는가? 이러한 질문들은 표준 LLM 환경에서 연구하기 어렵다. 사전 학습 코퍼스가 방대하고 통제되지 않아 행동을 사전 학습과 RL 중 어디에 귀속시켜야 할지 파악하기 어렵고, 두 단계에 걸친 체계적인 컴퓨팅 스윕(compute sweep)은 엄청난 비용이 들기 때문이다. 이러한 문제를 해결하기 위해, 우리는 체스를 사전 학습부터 후속 학습까지의 전체 파이프라인을 통해 추론을 연구하기 위한 통제된 테스트베드로 사용한다. 우리는 표준 LLM 훈련 파이프라인을 따라, 인간의 체스 기보로 5M에서 1B 파라미터 크기의 언어 모델을 사전 학습하고, 합성 추론 궤적(synthetic reasoning traces)으로 지도 미세 조정(SFT)한 후, 검증 가능한 보상이 있는 체스 퍼즐에 대해 RL을 실행한다. 이 프레임워크를 사용하여, 우리는 주어진 RL 컴퓨팅 수준에서 RL 이후의 성능이 사전 학습 손실(pre-training loss)로부터 잘 예측되며, RL 보상 곡선의 기울기가 사전 학습 토큰 수에 따라 거의 선형적으로 개선된다는 것을 발견했다. 스케일링 외에도, RL이 단순히 SFT 정책을 강화하는 것이 아님을 발견했다. 쉬운 퍼즐에서는 SFT 정책이 이미 선호했던 올바른 수를 증폭시키는 반면, 어려운 퍼즐에서는 SFT 하에서는 거의 존재하지 않았던 올바른 수를 표면화(surface)한다. 또한 수학 도메인 텍스트로 1B 언어 모델을 훈련시켜 체스 이외의 분야로도 우리의 발견이 전이되는지 추가로 테스트했으며, 동일한 예측 패턴이 나타났다. 즉, 더 오래 사전 학습된 체크포인트가 더 높은 RL 이후 성능에 도달하고 RL에서 더 빠르게 개선되었다. 요약하면, 우리는 사전 학습과 RL 간의 인터페이스에 대한 정량적 설명과 사전 학습부터 후속 학습까지의 전체 파이프라인에서 추론 과학을 연구하기 위한 통제된 테스트베드를 제공한다.

English

Reinforcement learning (RL) has become central to improving large language models (LLMs) on complex reasoning tasks, yet RL post-training is largely studied in isolation from the pretraining that precedes it. As a result, two basic questions remain open: (1) how do pretraining choices (model size, data) shape the returns to RL compute, and (2) what does RL actually do to the model? These questions are difficult to study in the standard LLM setting: pretraining corpora are vast and uncontrolled, making it hard to attribute behaviors to pretraining versus RL, and systematic compute sweeps across both stages are prohibitively expensive. To address these challenges, we use chess as a controlled testbed for studying reasoning across the full pretraining-to-post-training pipeline. We follow the standard LLM training pipeline by pretraining language models from 5M to 1B parameters on human chess games, supervised fine-tuning on synthetic reasoning traces, and running RL on chess puzzles with verifiable rewards. Using this framework, we find that the post-RL performance at given RL compute level is well-predicted from the pretraining loss, and slope of the RL reward curves improves approximately linearly with the pretraining tokens. Beyond scaling, we find that RL does not simply sharpen the SFT policy: on easy puzzles it amplifies correct moves the SFT policy already preferred, while on hard puzzles it surfaces correct moves that were nearly absent under SFT. We further test whether our findings transfer beyond chess by training a 1B language model on math-domain text, where the same predictive pattern emerges: longer-pretrained checkpoints reach higher post-RL performance and improve faster under RL. In sum, we provide a quantitative account of the pretraining-to-RL interface and a controlled testbed for studying the science of reasoning across the full pretraining-to-post-training pipeline.