Über die optimale Argumentationslänge für RL-trainierte Sprachmodelle

On the Optimal Reasoning Length for RL-Trained Language Models

February 10, 2026

papers.authors: Daisuke Nohara, Taishi Nakamura, Rio Yokota

cs.AI

papers.abstract

Reinforcement Learning verbessert das Reasoning in großen Sprachmodellen erheblich, führt jedoch tendenziell zu längeren Chain-of-Thought-Ausgaben und erhöht die Rechenkosten sowohl während des Trainings als auch während des Inferenzvorgangs. Obwohl Methoden zur Längenkontrolle vorgeschlagen wurden, bleibt unklar, welche Ausgabelänge optimal ist, um Effizienz und Leistung in Einklang zu bringen. In dieser Arbeit vergleichen wir mehrere Methoden zur Längenkontrolle an zwei Modellen, Qwen3-1.7B Base und DeepSeek-R1-Distill-Qwen-1.5B. Unsere Ergebnisse zeigen, dass Längenbestrafungen den Erwerb von Reasoning-Fähigkeiten beeinträchtigen können, während eine richtig eingestellte Längenkontrolle die Effizienz von Modellen mit starkem Vorwissen im Reasoning verbessern kann. Durch die Erweiterung früherer Arbeiten auf RL-trainierte Policies identifizieren wir zwei Fehlermodi: 1) Lange Ausgaben erhöhen die Dispersion und 2) kurze Ausgaben führen zu Unter-Denken.

English

Reinforcement learning substantially improves reasoning in large language models, but it also tends to lengthen chain of thought outputs and increase computational cost during both training and inference. Though length control methods have been proposed, it remains unclear what the optimal output length is for balancing efficiency and performance. In this work, we compare several length control methods on two models, Qwen3-1.7B Base and DeepSeek-R1-Distill-Qwen-1.5B. Our results indicate that length penalties may hinder reasoning acquisition, while properly tuned length control can improve efficiency for models with strong prior reasoning. By extending prior work to RL trained policies, we identify two failure modes, 1) long outputs increase dispersion, and 2) short outputs lead to under-thinking.