Cadena de Pensamientos Escalable mediante Razonamiento Elástico

Scalable Chain of Thoughts via Elastic Reasoning

May 8, 2025

Autores: Yuhui Xu, Hanze Dong, Lei Wang, Doyen Sahoo, Junnan Li, Caiming Xiong

cs.AI

Resumen

Los modelos de razonamiento a gran escala (LRMs, por sus siglas en inglés) han logrado avances notables en tareas complejas al generar cadenas de pensamiento extendidas (CoT, por sus siglas en inglés). Sin embargo, sus longitudes de salida no controladas plantean desafíos significativos para su implementación en el mundo real, donde los presupuestos de inferencia en tokens, latencia o capacidad de cómputo están estrictamente limitados. Proponemos Razonamiento Elástico, un marco novedoso para cadenas de pensamiento escalables que separa explícitamente el razonamiento en dos fases—pensamiento y solución—con presupuestos asignados de manera independiente. Durante la fase de prueba, el Razonamiento Elástico prioriza la completitud de los segmentos de solución, mejorando significativamente la confiabilidad bajo restricciones estrictas de recursos. Para entrenar modelos que sean robustos ante pensamientos truncados, introducimos una estrategia ligera de despliegue con restricciones de presupuesto, integrada en GRPO, que enseña al modelo a razonar de manera adaptativa cuando el proceso de pensamiento se interrumpe y generaliza efectivamente a restricciones de presupuesto no vistas sin necesidad de entrenamiento adicional. Los resultados empíricos en benchmarks matemáticos (AIME, MATH500) y de programación (LiveCodeBench, Codeforces) demuestran que el Razonamiento Elástico funciona de manera robusta bajo restricciones estrictas de presupuesto, mientras incurre en costos de entrenamiento significativamente más bajos que los métodos de referencia. Notablemente, nuestro enfoque también produce razonamientos más concisos y eficientes incluso en entornos sin restricciones. El Razonamiento Elástico ofrece una solución práctica y fundamentada al desafío apremiante del razonamiento controlable a gran escala.

English

Large reasoning models (LRMs) have achieved remarkable progress on complex tasks by generating extended chains of thought (CoT). However, their uncontrolled output lengths pose significant challenges for real-world deployment, where inference-time budgets on tokens, latency, or compute are strictly constrained. We propose Elastic Reasoning, a novel framework for scalable chain of thoughts that explicitly separates reasoning into two phases--thinking and solution--with independently allocated budgets. At test time, Elastic Reasoning prioritize that completeness of solution segments, significantly improving reliability under tight resource constraints. To train models that are robust to truncated thinking, we introduce a lightweight budget-constrained rollout strategy, integrated into GRPO, which teaches the model to reason adaptively when the thinking process is cut short and generalizes effectively to unseen budget constraints without additional training. Empirical results on mathematical (AIME, MATH500) and programming (LiveCodeBench, Codeforces) benchmarks demonstrate that Elastic Reasoning performs robustly under strict budget constraints, while incurring significantly lower training cost than baseline methods. Remarkably, our approach also produces more concise and efficient reasoning even in unconstrained settings. Elastic Reasoning offers a principled and practical solution to the pressing challenge of controllable reasoning at scale.