Chaînes de pensée évolutives via un raisonnement élastique

Scalable Chain of Thoughts via Elastic Reasoning

May 8, 2025

Auteurs: Yuhui Xu, Hanze Dong, Lei Wang, Doyen Sahoo, Junnan Li, Caiming Xiong

cs.AI

Résumé

Les grands modèles de raisonnement (LRM) ont réalisé des progrès remarquables sur des tâches complexes en générant des chaînes de pensée (CoT) étendues. Cependant, leurs longueurs de sortie non contrôlées posent des défis importants pour un déploiement en conditions réelles, où les budgets en termes de tokens, de latence ou de calcul au moment de l'inférence sont strictement limités. Nous proposons le Raisonnement Élastique, un cadre novateur pour des chaînes de pensée scalables qui sépare explicitement le raisonnement en deux phases—pensée et solution—avec des budgets alloués de manière indépendante. Au moment du test, le Raisonnement Élastique priorise l'exhaustivité des segments de solution, améliorant significativement la fiabilité sous des contraintes de ressources strictes. Pour entraîner des modèles robustes à une pensée tronquée, nous introduisons une stratégie légère de déploiement sous contrainte budgétaire, intégrée à GRPO, qui enseigne au modèle à raisonner de manière adaptative lorsque le processus de pensée est interrompu et généralise efficacement à des contraintes budgétaires inédites sans entraînement supplémentaire. Les résultats empiriques sur des benchmarks mathématiques (AIME, MATH500) et de programmation (LiveCodeBench, Codeforces) démontrent que le Raisonnement Élastique performe de manière robuste sous des contraintes budgétaires strictes, tout en engendrant des coûts d'entraînement significativement plus faibles que les méthodes de référence. De manière remarquable, notre approche produit également un raisonnement plus concis et efficace même dans des contextes sans contraintes. Le Raisonnement Élastique offre une solution à la fois théorique et pratique au défi pressant du raisonnement contrôlable à grande échelle.

English

Large reasoning models (LRMs) have achieved remarkable progress on complex tasks by generating extended chains of thought (CoT). However, their uncontrolled output lengths pose significant challenges for real-world deployment, where inference-time budgets on tokens, latency, or compute are strictly constrained. We propose Elastic Reasoning, a novel framework for scalable chain of thoughts that explicitly separates reasoning into two phases--thinking and solution--with independently allocated budgets. At test time, Elastic Reasoning prioritize that completeness of solution segments, significantly improving reliability under tight resource constraints. To train models that are robust to truncated thinking, we introduce a lightweight budget-constrained rollout strategy, integrated into GRPO, which teaches the model to reason adaptively when the thinking process is cut short and generalizes effectively to unseen budget constraints without additional training. Empirical results on mathematical (AIME, MATH500) and programming (LiveCodeBench, Codeforces) benchmarks demonstrate that Elastic Reasoning performs robustly under strict budget constraints, while incurring significantly lower training cost than baseline methods. Remarkably, our approach also produces more concise and efficient reasoning even in unconstrained settings. Elastic Reasoning offers a principled and practical solution to the pressing challenge of controllable reasoning at scale.