Caché de Razonamiento: Mejora Continua en Horizontes Largos mediante RL de Horizonte Corto

Reasoning Cache: Continual Improvement Over Long Horizons via Short-Horizon RL

February 3, 2026

Autores: Ian Wu, Yuxiao Qu, Amrith Setlur, Aviral Kumar

cs.AI

Resumen

Los Modelos de Lenguaje Grandes (LLM) capaces de mejorar continuamente más allá de sus presupuestos de entrenamiento pueden resolver problemas de dificultad creciente adaptándose en el momento de la prueba, una propiedad que denominamos extrapolación. Sin embargo, el aprendizaje por refuerzo (RL) estándar opera sobre distribuciones de problemas y presupuestos de entrenamiento fijos, lo que limita la extrapolación ante cambios de distribución durante la prueba. Para abordar esto, presentamos RC, un algoritmo de decodificación iterativa que reemplaza la decodificación autorregresiva estándar tanto durante el entrenamiento como en la inferencia. RC explota una asimetría entre las capacidades de generación de respuestas y de resumen de los LLM para construir cadenas de razonamiento que mejoran consistentemente entre iteraciones. Los modelos entrenados para usar RC pueden extrapolar y mejorar continuamente en horizontes de razonamiento más de un orden de magnitud más largos que los observados durante el entrenamiento. Empíricamente, entrenar un modelo de 4B parámetros con RC usando un presupuesto de entrenamiento de 16k tokens mejora el rendimiento en HMMT 2025 del 40% a casi el 70% con 0.5 millones de tokens en la prueba, superando tanto a modelos de tamaño comparable como a muchos LLM de razonamiento más grandes. Finalmente, también demostramos que los modelos entrenados con RC pueden aprovechar más efectivamente los andamiajes existentes para escalar aún más el rendimiento en la prueba, debido a las habilidades mejoradas de generación condicionada por resúmenes aprendidas durante el entrenamiento.

English

Large Language Models (LLMs) that can continually improve beyond their training budgets are able to solve increasingly difficult problems by adapting at test time, a property we refer to as extrapolation. However, standard reinforcement learning (RL) operates over fixed problem distributions and training budgets, which limits extrapolation amidst distribution shift at test time. To address this, we introduce RC, an iterative decoding algorithm that replaces standard autoregressive decoding during both training and inference. RC exploits an asymmetry between the response generation and summarization capabilities of LLMs to construct reasoning chains that consistently improve across iterations. Models trained to use RC can extrapolate and continually improve over reasoning horizons more than an order of magnitude longer than those seen during training. Empirically, training a 4B model with RC using a 16k-token training budget improves performance on HMMT 2025 from 40% to nearly 70% with 0.5m tokens at test time, outperforming both comparably sized models and many larger reasoning LLMs. Finally, we also show that models trained with RC can more effectively leverage existing scaffolds to further scale test-time performance, due to the improved summary-conditioned generation abilities learned through training.