Skalierbare Gedankenketten durch elastisches Schließen

Scalable Chain of Thoughts via Elastic Reasoning

May 8, 2025

Autoren: Yuhui Xu, Hanze Dong, Lei Wang, Doyen Sahoo, Junnan Li, Caiming Xiong

cs.AI

Zusammenfassung

Große Reasoning-Modelle (LRMs) haben bemerkenswerte Fortschritte bei komplexen Aufgaben erzielt, indem sie ausgedehnte Gedankenketten (Chain of Thought, CoT) generieren. Ihre unkontrollierten Ausgabelängen stellen jedoch erhebliche Herausforderungen für den praktischen Einsatz dar, insbesondere wenn Inferenzzeitbudgets in Bezug auf Token, Latenz oder Rechenleistung streng begrenzt sind. Wir schlagen Elastic Reasoning vor, ein neuartiges Framework für skalierbare Gedankenketten, das das Reasoning explizit in zwei Phasen unterteilt – Denken und Lösung – mit unabhängig zugewiesenen Budgets. Zum Testzeitpunkt priorisiert Elastic Reasoning die Vollständigkeit der Lösungssegmente und verbessert so die Zuverlässigkeit unter strengen Ressourcenbeschränkungen erheblich. Um Modelle zu trainieren, die robust gegenüber abgebrochenem Denken sind, führen wir eine leichtgewichtige, budgetbeschränkte Rollout-Strategie ein, die in GRPO integriert ist. Diese lehrt das Modell, adaptiv zu schlussfolgern, wenn der Denkprozess vorzeitig abgebrochen wird, und verallgemeinert effektiv auf unbekannte Budgetbeschränkungen ohne zusätzliches Training. Empirische Ergebnisse auf mathematischen (AIME, MATH500) und Programmier-Benchmarks (LiveCodeBench, Codeforces) zeigen, dass Elastic Reasoning unter strengen Budgetbeschränkungen robust abschneidet, während es deutlich geringere Trainingskosten als Baseline-Methoden verursacht. Bemerkenswerterweise erzeugt unser Ansatz auch in unbegrenzten Umgebungen prägnanteres und effizienteres Reasoning. Elastic Reasoning bietet eine prinzipielle und praktische Lösung für die dringende Herausforderung des kontrollierbaren Reasonings im großen Maßstab.

English

Large reasoning models (LRMs) have achieved remarkable progress on complex tasks by generating extended chains of thought (CoT). However, their uncontrolled output lengths pose significant challenges for real-world deployment, where inference-time budgets on tokens, latency, or compute are strictly constrained. We propose Elastic Reasoning, a novel framework for scalable chain of thoughts that explicitly separates reasoning into two phases--thinking and solution--with independently allocated budgets. At test time, Elastic Reasoning prioritize that completeness of solution segments, significantly improving reliability under tight resource constraints. To train models that are robust to truncated thinking, we introduce a lightweight budget-constrained rollout strategy, integrated into GRPO, which teaches the model to reason adaptively when the thinking process is cut short and generalizes effectively to unseen budget constraints without additional training. Empirical results on mathematical (AIME, MATH500) and programming (LiveCodeBench, Codeforces) benchmarks demonstrate that Elastic Reasoning performs robustly under strict budget constraints, while incurring significantly lower training cost than baseline methods. Remarkably, our approach also produces more concise and efficient reasoning even in unconstrained settings. Elastic Reasoning offers a principled and practical solution to the pressing challenge of controllable reasoning at scale.