Voorbij GRPO en On-Policy Distillatie: Een Empirisch Sparse-to-Dense Beloningsprincipe voor Post-Training van Taalmodellen

Samenvatting

In situaties waarin gelabelde verifieerbare trainingsdata de bindende beperking vormt, moet elk gecontroleerd voorbeeld zorgvuldig worden toegewezen. De standaardpraktijk is om deze data rechtstreeks te gebruiken op het model dat zal worden geïmplementeerd, bijvoorbeeld door GRPO toe te passen op de implementatiestudent. Wij stellen dat dit vaak een inefficiënte toewijzing is, omdat het een beloningsdichtheidsprincipe over het hoofd ziet: schaarse sequentieniveau-beloning zou modellen moeten trainen waar exploratie productief is, terwijl dichte token-niveau docentbeloning moet worden gebruikt waar het doel is om gedrag te comprimeren naar een kleiner model. Vanuit dit oogpunt zijn GRPO-achtige schaarse RL en OPD-achtige dichte docentsupervisie geen aparte recepten; zij zijn verschillende beloningsdichtheidsregimes. De toewijzingsregel is eenvoudig: gebruik schaarse gelabelde trainingsdata stroomopwaarts op het sterkste model dat er beloningsvormend gedrag van kan maken, en draag dat gedrag vervolgens stroomafwaarts over als dichte supervisie. We evalueren deze regel op verifieerbare wiskunde met Qwen3- en Llama-modellen. Bij een vaste Qwen3-1.7B implementatiestudent-grootte presteert een RL-verbeterde 8B-docent, gedistilleerd via de dichte brug, beter dan directe GRPO op dezelfde student, terwijl overdracht van dezelfde docent vóór RL onderpresteert. De brug is belangrijk: een forward-KL opwarming op docent-rollouts gevolgd door OPD op student-rollouts is consistent het sterkst op MATH vóór enige post-brug student-zijdige schaarse RL, en geeft ook de beste pre-Stage 3 AIME-eindpunten voor de canonieke 8B/14B-docenten. De brug maakt latere student-zijdige schaarse RL ook effectief: GRPO dat zwak is op een koude student verhoogt MATH van 75,4% naar 78,5% na de brug en presteert 2,8 punten beter dan een gematchte replay-controle. Het operationele principe is om schaarse gelabelde data niet te gebruiken op het minst voorbereide beleid: gebruik schaarse beloning voor docent-zijdige ontdekking, dichte overdracht voor studentcompressie, en student-zijdige schaarse beloning pas na de brug.

English

In settings where labeled verifiable training data is the binding constraint, each checked example should be allocated carefully. The standard practice is to use this data directly on the model that will be deployed, for example by running GRPO on the deployment student. We argue that this is often an inefficient allocation because it overlooks a reward-density principle: sparse sequence-level reward should train models where exploration is productive, while dense token-level teacher reward should be used where the aim is to compress behavior into a smaller model. In this view, GRPO-style sparse RL and OPD-style dense teacher supervision are not separate recipes; they are different reward-density regimes. The allocation rule is simple: use scarce labeled training data upstream on the strongest model that can turn it into reward-shaped behavior, then transfer that behavior downstream as dense supervision. We evaluate this rule on verifiable math with Qwen3 and Llama models. At fixed Qwen3-1.7B deployment-student size, an RL-improved 8B teacher distilled through the dense bridge outperforms direct GRPO on the same student, while transfer from the same teacher before RL underperforms. The bridge is important: a forward-KL warmup on teacher rollouts followed by OPD on student rollouts is consistently strongest on MATH before any post-bridge student-side sparse RL, and also gives the best pre-Stage~3 AIME endpoints for the canonical 8B/14B teachers. The bridge also makes later student-side sparse RL effective: GRPO that is weak on a cold student lifts MATH from 75.4% to 78.5% after the bridge and outperforms a matched replay control by 2.8 points. The operational principal is to avoid using scarce labeled data on the least prepared policy: use sparse reward for teacher-side discovery, dense transfer for student compression, and student-side sparse reward only after the bridge.