Over de optimale redeneerlengte voor met RL getrainde taalmodel

On the Optimal Reasoning Length for RL-Trained Language Models

February 10, 2026

Auteurs: Daisuke Nohara, Taishi Nakamura, Rio Yokota

cs.AI

Samenvatting

Versterkend leren verbetert het redeneervermogen van grote taalmodellen aanzienlijk, maar heeft ook de neiging om de ketting-van-gedachte-uitvoer te verlengen en de rekenkosten tijdens zowel training als inferentie te verhogen. Hoewel er methoden voor lengtecontrole zijn voorgesteld, blijft het onduidelijk wat de optimale uitvoerlengte is om efficiëntie en prestaties in evenwicht te brengen. In dit werk vergelijken we verschillende lengtecontrolemethoden op twee modellen, Qwen3-1.7B Base en DeepSeek-R1-Distill-Qwen-1.5B. Onze resultaten geven aan dat lengtestraffen de verwerving van redeneervermogen kunnen belemmeren, terwijl goed afgestelde lengtecontrole de efficiëntie kan verbeteren voor modellen met een sterk voorafgaand redeneervermogen. Door eerder werk uit te breiden naar met RL getrainde policies, identificeren we twee faalwijzen: 1) lange uitvoer vergroot de dispersie, en 2) korte uitvoer leidt tot onder-denken.

English

Reinforcement learning substantially improves reasoning in large language models, but it also tends to lengthen chain of thought outputs and increase computational cost during both training and inference. Though length control methods have been proposed, it remains unclear what the optimal output length is for balancing efficiency and performance. In this work, we compare several length control methods on two models, Qwen3-1.7B Base and DeepSeek-R1-Distill-Qwen-1.5B. Our results indicate that length penalties may hinder reasoning acquisition, while properly tuned length control can improve efficiency for models with strong prior reasoning. By extending prior work to RL trained policies, we identify two failure modes, 1) long outputs increase dispersion, and 2) short outputs lead to under-thinking.