Schaalbare Gedachtegangen via Elastisch Redeneren

Scalable Chain of Thoughts via Elastic Reasoning

May 8, 2025

Auteurs: Yuhui Xu, Hanze Dong, Lei Wang, Doyen Sahoo, Junnan Li, Caiming Xiong

cs.AI

Samenvatting

Grote redeneermodellen (LRMs) hebben opmerkelijke vooruitgang geboekt bij complexe taken door uitgebreide gedachteketens (CoT) te genereren. Hun ongecontroleerde uitvoerlengtes vormen echter aanzienlijke uitdagingen voor implementatie in de praktijk, waar inferentietijdbudgetten voor tokens, latentie of rekenkracht strikt beperkt zijn. Wij stellen Elastisch Redeneren voor, een nieuw raamwerk voor schaalbare gedachteketens dat redeneren expliciet scheidt in twee fasen—denken en oplossing—met onafhankelijk toegewezen budgetten. Tijdens testen prioriteert Elastisch Redeneren de volledigheid van oplossingssegmenten, wat de betrouwbaarheid aanzienlijk verbetert onder strikte resourcebeperkingen. Om modellen te trainen die robuust zijn tegen afgekapt denken, introduceren we een lichtgewicht rollout-strategie met budgetbeperkingen, geïntegreerd in GRPO, die het model leert om adaptief te redeneren wanneer het denkproces wordt afgebroken en effectief generaliseert naar onbekende budgetbeperkingen zonder aanvullende training. Empirische resultaten op wiskundige (AIME, MATH500) en programmeerbenchmarks (LiveCodeBench, Codeforces) tonen aan dat Elastisch Redeneren robuust presteert onder strikte budgetbeperkingen, terwijl het aanzienlijk lagere trainingskosten met zich meebrengt dan baseline-methoden. Opmerkelijk is dat onze aanpak ook beknopter en efficiënter redeneren oplevert, zelfs in onbeperkte omstandigheden. Elastisch Redeneren biedt een principiële en praktische oplossing voor de dringende uitdaging van beheersbaar redeneren op grote schaal.

English

Large reasoning models (LRMs) have achieved remarkable progress on complex tasks by generating extended chains of thought (CoT). However, their uncontrolled output lengths pose significant challenges for real-world deployment, where inference-time budgets on tokens, latency, or compute are strictly constrained. We propose Elastic Reasoning, a novel framework for scalable chain of thoughts that explicitly separates reasoning into two phases--thinking and solution--with independently allocated budgets. At test time, Elastic Reasoning prioritize that completeness of solution segments, significantly improving reliability under tight resource constraints. To train models that are robust to truncated thinking, we introduce a lightweight budget-constrained rollout strategy, integrated into GRPO, which teaches the model to reason adaptively when the thinking process is cut short and generalizes effectively to unseen budget constraints without additional training. Empirical results on mathematical (AIME, MATH500) and programming (LiveCodeBench, Codeforces) benchmarks demonstrate that Elastic Reasoning performs robustly under strict budget constraints, while incurring significantly lower training cost than baseline methods. Remarkably, our approach also produces more concise and efficient reasoning even in unconstrained settings. Elastic Reasoning offers a principled and practical solution to the pressing challenge of controllable reasoning at scale.