Catena di Pensieri Scalabile tramite Ragionamento Elastico

Scalable Chain of Thoughts via Elastic Reasoning

May 8, 2025

Autori: Yuhui Xu, Hanze Dong, Lei Wang, Doyen Sahoo, Junnan Li, Caiming Xiong

cs.AI

Abstract

I grandi modelli di ragionamento (LRM) hanno ottenuto progressi significativi su compiti complessi generando catene di pensiero (CoT) estese. Tuttavia, le loro lunghezze di output non controllate pongono sfide importanti per il dispiegamento nel mondo reale, dove i budget di inferenza su token, latenza o calcolo sono rigorosamente vincolati. Proponiamo Elastic Reasoning, un nuovo framework per catene di pensiero scalabili che separa esplicitamente il ragionamento in due fasi—pensiero e soluzione—con budget allocati in modo indipendente. Al momento del test, Elastic Reasoning dà priorità alla completezza dei segmenti di soluzione, migliorando significativamente l'affidabilità sotto vincoli di risorse stringenti. Per addestrare modelli robusti al pensiero troncato, introduciamo una strategia di rollout leggera vincolata al budget, integrata in GRPO, che insegna al modello a ragionare in modo adattivo quando il processo di pensiero viene interrotto e generalizza efficacemente a vincoli di budget non visti senza ulteriore addestramento. I risultati empirici su benchmark matematici (AIME, MATH500) e di programmazione (LiveCodeBench, Codeforces) dimostrano che Elastic Reasoning si comporta in modo robusto sotto vincoli di budget rigorosi, con costi di addestramento significativamente inferiori rispetto ai metodi di base. In modo notevole, il nostro approccio produce anche ragionamenti più concisi ed efficienti anche in contesti non vincolati. Elastic Reasoning offre una soluzione principiata e pratica alla pressante sfida del ragionamento controllabile su larga scala.

English

Large reasoning models (LRMs) have achieved remarkable progress on complex tasks by generating extended chains of thought (CoT). However, their uncontrolled output lengths pose significant challenges for real-world deployment, where inference-time budgets on tokens, latency, or compute are strictly constrained. We propose Elastic Reasoning, a novel framework for scalable chain of thoughts that explicitly separates reasoning into two phases--thinking and solution--with independently allocated budgets. At test time, Elastic Reasoning prioritize that completeness of solution segments, significantly improving reliability under tight resource constraints. To train models that are robust to truncated thinking, we introduce a lightweight budget-constrained rollout strategy, integrated into GRPO, which teaches the model to reason adaptively when the thinking process is cut short and generalizes effectively to unseen budget constraints without additional training. Empirical results on mathematical (AIME, MATH500) and programming (LiveCodeBench, Codeforces) benchmarks demonstrate that Elastic Reasoning performs robustly under strict budget constraints, while incurring significantly lower training cost than baseline methods. Remarkably, our approach also produces more concise and efficient reasoning even in unconstrained settings. Elastic Reasoning offers a principled and practical solution to the pressing challenge of controllable reasoning at scale.