Sobre a Interação entre Pré-treinamento, Meio-treinamento e RL em Modelos de Linguagem de Raciocínio

On the Interplay of Pre-Training, Mid-Training, and RL on Reasoning Language Models

December 8, 2025

Autores: Charlie Zhang, Graham Neubig, Xiang Yue

cs.AI

Resumo

Técnicas recentes de aprendizagem por reforço (RL) têm produzido melhorias impressionantes na capacidade de raciocínio de modelos de linguagem, mas ainda não está claro se o pós-treinamento realmente estende a capacidade de raciocínio de um modelo para além do que ele adquire durante o pré-treinamento. Um desafio central é a falta de controle nos pipelines de treinamento modernos: os corpora de pré-treinamento em larga escala são opacos, o meio do treinamento é frequentemente pouco examinado, e os objetivos de RL interagem com conhecimentos prévios desconhecidos de maneiras complexas. Para resolver esta ambiguidade, desenvolvemos uma estrutura experimental totalmente controlada que isola as contribuições causais do pré-treinamento, do meio do treinamento e do pós-treinamento baseado em RL. Nossa abordagem emprega tarefas de raciocínio sintéticas com operações atômicas explícitas, traços de raciocínio passo a passo analisáveis e manipulação sistemática das distribuições de treinamento. Avaliamos os modelos ao longo de dois eixos: generalização extrapolativa para composições mais complexas e generalização contextual através de contextos superficiais. Usando esta estrutura, reconciliamos visões concorrentes sobre a eficácia da RL. Mostramos que: 1) A RL produz ganhos reais de capacidade (pass@128) apenas quando o pré-treinamento deixa margem suficiente e quando os dados de RL visam a "borda de competência" do modelo – tarefas no limite que são difíceis, mas ainda não estão fora de alcance. 2) A generalização contextual requer exposição mínima, porém suficiente, no pré-treinamento, após a qual a RL pode transferir de forma confiável. 3) O meio do treinamento melhora significativamente o desempenho com computação fixa em comparação com apenas a RL, demonstrando seu papel central, mas pouco explorado, nos pipelines de treinamento. 4) Recompensas em nível de processo reduzem a "hackeamento de recompensa" e melhoram a fidelidade do raciocínio. Juntos, estes resultados esclarecem a interação entre pré-treinamento, meio do treinamento e RL, oferecendo uma base para compreender e melhorar as estratégias de treinamento de modelos de linguagem para raciocínio.

English

Recent reinforcement learning (RL) techniques have yielded impressive reasoning improvements in language models, yet it remains unclear whether post-training truly extends a model's reasoning ability beyond what it acquires during pre-training. A central challenge is the lack of control in modern training pipelines: large-scale pre-training corpora are opaque, mid-training is often underexamined, and RL objectives interact with unknown prior knowledge in complex ways. To resolve this ambiguity, we develop a fully controlled experimental framework that isolates the causal contributions of pre-training, mid-training, and RL-based post-training. Our approach employs synthetic reasoning tasks with explicit atomic operations, parseable step-by-step reasoning traces, and systematic manipulation of training distributions. We evaluate models along two axes: extrapolative generalization to more complex compositions and contextual generalization across surface contexts. Using this framework, we reconcile competing views on RL's effectiveness. We show that: 1) RL produces true capability gains (pass@128) only when pre-training leaves sufficient headroom and when RL data target the model's edge of competence, tasks at the boundary that are difficult but not yet out of reach. 2) Contextual generalization requires minimal yet sufficient pre-training exposure, after which RL can reliably transfer. 3) Mid-training significantly enhances performance under fixed compute compared with RL only, demonstrating its central but underexplored role in training pipelines. 4) Process-level rewards reduce reward hacking and improve reasoning fidelity. Together, these results clarify the interplay between pre-training, mid-training, and RL, offering a foundation for understanding and improving reasoning LM training strategies.