Denken-freie Policy-Initialisierung macht destillierte Reasoning-Modelle zu effektiveren und effizienteren Reasonern

Thinking-Free Policy Initialization Makes Distilled Reasoning Models More Effective and Efficient Reasoners

September 30, 2025

papers.authors: Xin Xu, Cliveb AI, Kai Yang, Tianhao Chen, Yang Wang, Saiyong Yang, Can Yang

cs.AI

papers.abstract

Reinforcement Learning with Verifiable Reward (RLVR) löst effektiv komplexe Aufgaben, erfordert jedoch während des Trainings extrem lange Kontextlängen, was zu erheblichen Rechenkosten führt. Während mehrstufiges Training dies teilweise abmildern kann, führt der Start mit zu kurzen Kontexten oft zu irreversiblen Leistungseinbußen und reduziert letztlich den gesamten Trainingsaufwand nicht signifikant. In diesem Artikel stellen wir **T**hinking-**F**ree **P**olicy **I**nitialization (**TFPI**) vor, eine einfache, aber effektive Anpassung an RLVR, die lange Chain-of-Thought (CoT)-Destillation und standardmäßiges RLVR verbindet. TFPI verwendet eine einfache *ThinkFree*-Operation, die den Denkinhalt explizit durch ein direktes *</think>*-Anhängen verwirft, um die Token-Nutzung während der Inferenz zu reduzieren. Das Training mit *ThinkFree*-angepassten Eingaben verbessert die Leistung und senkt den Token-Verbrauch, selbst im ursprünglichen langsamen Denkmodus. Umfangreiche Experimente über verschiedene Benchmarks hinweg haben gezeigt, dass TFPI die RL-Konvergenz beschleunigt, eine höhere Leistungsgrenze erreicht und token-effizientere Reasoning-Modelle ohne spezialisierte Belohnungen oder komplexe Trainingsdesigns liefert. Mit TFPI allein trainieren wir ein 4B-Modell, das eine Genauigkeit von 89,0 % auf AIME24 und 65,5 % auf LiveCodeBench erreicht, wobei weniger als 4K H20-Stunden verwendet werden.

English

Reinforcement Learning with Verifiable Reward (RLVR) effectively solves complex tasks but demands extremely long context lengths during training, leading to substantial computational costs. While multi-stage training can partially mitigate this, starting with overly short contexts often causes irreversible performance degradation, ultimately failing to reduce overall training compute significantly. In this paper, we introduce **T**hinking-**F**ree **P**olicy **I**nitialization (**TFPI**), a simple yet effective adaptation to RLVR that bridges long Chain-of-Thought (CoT) distillation and standard RLVR. TFPI employs a simple *ThinkFree* operation, explicitly discarding the thinking content via a direct *</think>* append, to reduce token usage during inference. Training with *ThinkFree*-adapted inputs improves performance and lowers token consumption, even in the original slow-thinking mode. Extensive experiments across various benchmarks have shown that TFPI accelerates RL convergence, achieves a higher performance ceiling, and yields more token-efficient reasoning models without specialized rewards or complex training designs. With TFPI only, we train a 4B model to reach 89.0% accuracy on AIME24 and 65.5% on LiveCodeBench using less than 4K H20 hours.