Sobre o Comprimento Ótimo de Raciocínio para Modelos de Linguagem Treinados com RL

On the Optimal Reasoning Length for RL-Trained Language Models

February 10, 2026

Autores: Daisuke Nohara, Taishi Nakamura, Rio Yokota

cs.AI

Resumo

O aprendizado por reforço melhora substancialmente o raciocínio em modelos de linguagem de grande porte, mas também tende a alongar as cadeias de pensamento e aumentar o custo computacional durante o treinamento e a inferência. Embora métodos de controle de comprimento tenham sido propostos, ainda não está claro qual é o comprimento ideal de saída para equilibrar eficiência e desempenho. Neste trabalho, comparamos vários métodos de controle de comprimento em dois modelos, Qwen3-1.7B Base e DeepSeek-R1-Distill-Qwen-1.5B. Nossos resultados indicam que penalidades de comprimento podem prejudicar a aquisição de raciocínio, enquanto um controle de comprimento adequadamente ajustado pode melhorar a eficiência para modelos com forte capacidade de raciocínio prévia. Ao estender trabalhos anteriores para políticas treinadas por RL, identificamos dois modos de falha: 1) saídas longas aumentam a dispersão, e 2) saídas curtas levam ao sub-raciocínio.

English

Reinforcement learning substantially improves reasoning in large language models, but it also tends to lengthen chain of thought outputs and increase computational cost during both training and inference. Though length control methods have been proposed, it remains unclear what the optimal output length is for balancing efficiency and performance. In this work, we compare several length control methods on two models, Qwen3-1.7B Base and DeepSeek-R1-Distill-Qwen-1.5B. Our results indicate that length penalties may hinder reasoning acquisition, while properly tuned length control can improve efficiency for models with strong prior reasoning. By extending prior work to RL trained policies, we identify two failure modes, 1) long outputs increase dispersion, and 2) short outputs lead to under-thinking.