Além do GRPO e da Destilação On-Policy: Um Princípio Empírico de Recompensa Esparsa-para-Densa para o Pós-Treinamento de Modelos de Linguagem

Resumo

Em contextos onde os dados de treinamento verificáveis e rotulados constituem a restrição limitante, cada exemplo verificado deve ser alocado cuidadosamente. A prática padrão é utilizar esses dados diretamente no modelo que será implantado, por exemplo, executando GRPO no estudante de implantação. Argumentamos que isso frequentemente representa uma alocação ineficiente, pois desconsidera um princípio de densidade de recompensa: recompensas esparsas em nível de sequência devem treinar modelos onde a exploração é produtiva, enquanto recompensas densas do professor em nível de token devem ser usadas quando o objetivo é comprimir o comportamento em um modelo menor. Nessa perspectiva, RL esparsa no estilo GRPO e supervisão densa do professor no estilo OPD não são receitas separadas; são regimes diferentes de densidade de recompensa. A regra de alocação é simples: use dados rotulados escassos upstream no modelo mais forte que possa transformá-los em comportamento moldado por recompensa e, em seguida, transfira esse comportamento downstream como supervisão densa. Avaliamos essa regra em matemática verificável com modelos Qwen3 e Llama. Com um tamanho fixo de estudante de implantação Qwen3-1.7B, um professor de 8B melhorado por RL destilado por meio da ponte densa supera o GRPO direto no mesmo estudante, enquanto a transferência do mesmo professor antes da RL apresenta desempenho inferior. A ponte é importante: um aquecimento com forward-KL nas rolagens do professor seguido por OPD nas rolagens do estudante é consistentemente o mais forte no MATH antes de qualquer RL esparsa pós-ponte no lado do estudante, e também fornece os melhores endpoints pré-Estágio 3 do AIME para os professores canônicos de 8B/14B. A ponte também torna eficaz a RL esparsa posterior no lado do estudante: o GRPO, que é fraco em um estudante frio, eleva o MATH de 75,4% para 78,5% após a ponte e supera um controle de repetição correspondente em 2,8 pontos. O princípio operacional é evitar o uso de dados rotulados escassos na política menos preparada: use recompensa esparsa para descoberta no lado do professor, transferência densa para compressão do estudante e recompensa esparsa no lado do estudante apenas após a ponte.

English

In settings where labeled verifiable training data is the binding constraint, each checked example should be allocated carefully. The standard practice is to use this data directly on the model that will be deployed, for example by running GRPO on the deployment student. We argue that this is often an inefficient allocation because it overlooks a reward-density principle: sparse sequence-level reward should train models where exploration is productive, while dense token-level teacher reward should be used where the aim is to compress behavior into a smaller model. In this view, GRPO-style sparse RL and OPD-style dense teacher supervision are not separate recipes; they are different reward-density regimes. The allocation rule is simple: use scarce labeled training data upstream on the strongest model that can turn it into reward-shaped behavior, then transfer that behavior downstream as dense supervision. We evaluate this rule on verifiable math with Qwen3 and Llama models. At fixed Qwen3-1.7B deployment-student size, an RL-improved 8B teacher distilled through the dense bridge outperforms direct GRPO on the same student, while transfer from the same teacher before RL underperforms. The bridge is important: a forward-KL warmup on teacher rollouts followed by OPD on student rollouts is consistently strongest on MATH before any post-bridge student-side sparse RL, and also gives the best pre-Stage~3 AIME endpoints for the canonical 8B/14B teachers. The bridge also makes later student-side sparse RL effective: GRPO that is weak on a cold student lifts MATH from 75.4% to 78.5% after the bridge and outperforms a matched replay control by 2.8 points. The operational principal is to avoid using scarce labeled data on the least prepared policy: use sparse reward for teacher-side discovery, dense transfer for student compression, and student-side sparse reward only after the bridge.