О оптимальной длине рассуждений для языковых моделей, обученных с подкреплением

On the Optimal Reasoning Length for RL-Trained Language Models

February 10, 2026

Авторы: Daisuke Nohara, Taishi Nakamura, Rio Yokota

cs.AI

Аннотация

Обучение с подкреплением существенно улучшает способность к рассуждениям в больших языковых моделях, однако оно также склонно удлинять цепочки рассуждений и увеличивать вычислительные затраты как на этапе обучения, так и во время вывода. Хотя были предложены методы контроля длины, до сих пор неясно, какова оптимальная длина вывода для баланса между эффективностью и производительностью. В данной работе мы сравниваем несколько методов контроля длины на двух моделях: Qwen3-1.7B Base и DeepSeek-R1-Distill-Qwen-1.5B. Наши результаты показывают, что штрафы за длину могут препятствовать формированию рассуждений, в то время как правильно настроенный контроль длины способен повысить эффективность для моделей с изначально сильными способностями к рассуждению. Расширяя предыдущие исследования на политики, обученные методом RL, мы выявили два типа сбоев: 1) длинные выводы увеличивают дисперсию, и 2) короткие выводы приводят к недостаточному анализу.

English

Reinforcement learning substantially improves reasoning in large language models, but it also tends to lengthen chain of thought outputs and increase computational cost during both training and inference. Though length control methods have been proposed, it remains unclear what the optimal output length is for balancing efficiency and performance. In this work, we compare several length control methods on two models, Qwen3-1.7B Base and DeepSeek-R1-Distill-Qwen-1.5B. Our results indicate that length penalties may hinder reasoning acquisition, while properly tuned length control can improve efficiency for models with strong prior reasoning. By extending prior work to RL trained policies, we identify two failure modes, 1) long outputs increase dispersion, and 2) short outputs lead to under-thinking.