Масштабируемая цепочка рассуждений через эластичное мышление

Scalable Chain of Thoughts via Elastic Reasoning

May 8, 2025

Авторы: Yuhui Xu, Hanze Dong, Lei Wang, Doyen Sahoo, Junnan Li, Caiming Xiong

cs.AI

Аннотация

Крупные модели рассуждений (LRMs) достигли значительных успехов в решении сложных задач благодаря генерации расширенных цепочек рассуждений (CoT). Однако их неконтролируемая длина вывода создает серьезные проблемы для практического применения, где бюджеты на количество токенов, задержку или вычислительные ресурсы строго ограничены. Мы предлагаем Elastic Reasoning — новый фреймворк для масштабируемых цепочек рассуждений, который явно разделяет процесс рассуждения на две фазы — мышление и решение — с независимо выделенными бюджетами. Во время тестирования Elastic Reasoning отдает приоритет полноте сегментов решения, значительно повышая надежность при жестких ограничениях ресурсов. Для обучения моделей, устойчивых к прерыванию процесса мышления, мы вводим легковесную стратегию rollout с ограниченным бюджетом, интегрированную в GRPO, которая учит модель адаптивно рассуждать, когда процесс мышления прерывается, и эффективно обобщать на неизвестные ограничения бюджета без дополнительного обучения. Эмпирические результаты на математических (AIME, MATH500) и программистских (LiveCodeBench, Codeforces) бенчмарках демонстрируют, что Elastic Reasoning устойчиво работает при строгих ограничениях бюджета, при этом требуя значительно меньших затрат на обучение по сравнению с базовыми методами. Примечательно, что наш подход также генерирует более лаконичные и эффективные рассуждения даже в условиях без ограничений. Elastic Reasoning предлагает принципиальное и практическое решение актуальной задачи управляемого рассуждения в масштабе.

English

Large reasoning models (LRMs) have achieved remarkable progress on complex tasks by generating extended chains of thought (CoT). However, their uncontrolled output lengths pose significant challenges for real-world deployment, where inference-time budgets on tokens, latency, or compute are strictly constrained. We propose Elastic Reasoning, a novel framework for scalable chain of thoughts that explicitly separates reasoning into two phases--thinking and solution--with independently allocated budgets. At test time, Elastic Reasoning prioritize that completeness of solution segments, significantly improving reliability under tight resource constraints. To train models that are robust to truncated thinking, we introduce a lightweight budget-constrained rollout strategy, integrated into GRPO, which teaches the model to reason adaptively when the thinking process is cut short and generalizes effectively to unseen budget constraints without additional training. Empirical results on mathematical (AIME, MATH500) and programming (LiveCodeBench, Codeforces) benchmarks demonstrate that Elastic Reasoning performs robustly under strict budget constraints, while incurring significantly lower training cost than baseline methods. Remarkably, our approach also produces more concise and efficient reasoning even in unconstrained settings. Elastic Reasoning offers a principled and practical solution to the pressing challenge of controllable reasoning at scale.