Denken-Vrij Beleidsinitialisatie Maakt Gedistilleerde Redeneermodellen Effectievere en Efficiëntere Redeneerders

Thinking-Free Policy Initialization Makes Distilled Reasoning Models More Effective and Efficient Reasoners

September 30, 2025

Auteurs: Xin Xu, Cliveb AI, Kai Yang, Tianhao Chen, Yang Wang, Saiyong Yang, Can Yang

cs.AI

Samenvatting

Reinforcement Learning met Verifieerbare Beloning (RLVR) lost effectief complexe taken op, maar vereist tijdens de training extreem lange contextlengtes, wat aanzienlijke rekenkosten met zich meebrengt. Hoewel meerfasige training dit gedeeltelijk kan verzachten, leidt het starten met te korte contexten vaak tot onomkeerbare prestatievermindering, waardoor het uiteindelijk niet lukt om de totale trainingsrekentijd significant te verminderen. In dit artikel introduceren we **T**hinking-**F**ree **P**olicy **I**nitialization (**TFPI**), een eenvoudige maar effectieve aanpassing aan RLVR die lange Chain-of-Thought (CoT)-distillatie en standaard RLVR met elkaar verbindt. TFPI maakt gebruik van een eenvoudige *ThinkFree*-operatie, waarbij denkinhoud expliciet wordt weggegooid via een directe *</think>*-toevoeging, om het tokengebruik tijdens inferentie te verminderen. Trainen met *ThinkFree*-aangepaste invoer verbetert de prestaties en verlaagt het tokenverbruik, zelfs in de oorspronkelijke langzaam-denken-modus. Uitgebreide experimenten op diverse benchmarks hebben aangetoond dat TFPI de RL-convergentie versnelt, een hoger prestatieplafond bereikt en meer token-efficiënte redeneermodellen oplevert zonder gespecialiseerde beloningen of complexe trainingsontwerpen. Met alleen TFPI trainen we een 4B-model om een nauwkeurigheid van 89,0% op AIME24 en 65,5% op LiveCodeBench te bereiken met minder dan 4K H20-uren.

English

Reinforcement Learning with Verifiable Reward (RLVR) effectively solves complex tasks but demands extremely long context lengths during training, leading to substantial computational costs. While multi-stage training can partially mitigate this, starting with overly short contexts often causes irreversible performance degradation, ultimately failing to reduce overall training compute significantly. In this paper, we introduce **T**hinking-**F**ree **P**olicy **I**nitialization (**TFPI**), a simple yet effective adaptation to RLVR that bridges long Chain-of-Thought (CoT) distillation and standard RLVR. TFPI employs a simple *ThinkFree* operation, explicitly discarding the thinking content via a direct *</think>* append, to reduce token usage during inference. Training with *ThinkFree*-adapted inputs improves performance and lowers token consumption, even in the original slow-thinking mode. Extensive experiments across various benchmarks have shown that TFPI accelerates RL convergence, achieves a higher performance ceiling, and yields more token-efficient reasoning models without specialized rewards or complex training designs. With TFPI only, we train a 4B model to reach 89.0% accuracy on AIME24 and 65.5% on LiveCodeBench using less than 4K H20 hours.