Cache de Raisonnement : Amélioration Continue sur les Longs Horizons via l'Apprentissage par Renforcement à Court Terme
Reasoning Cache: Continual Improvement Over Long Horizons via Short-Horizon RL
February 3, 2026
papers.authors: Ian Wu, Yuxiao Qu, Amrith Setlur, Aviral Kumar
cs.AI
papers.abstract
Les modèles de langage de grande taille (LLM) capables de s'améliorer continuellement au-delà de leur budget d'entraînement peuvent résoudre des problèmes de plus en plus difficiles en s'adaptant au moment du test, une propriété que nous appelons extrapolation. Cependant, l'apprentissage par renforcement (RL) standard opère sur des distributions de problèmes et des budgets d'entraînement fixes, ce qui limite l'extrapolation face aux changements de distribution lors du test. Pour résoudre ce problème, nous introduisons RC, un algorithme de décodage itératif qui remplace le décodage autorégressif standard pendant l'entraînement et l'inférence. RC exploite une asymétrie entre les capacités de génération de réponses et de synthèse des LLM pour construire des chaînes de raisonnement qui s'améliorent constamment au fil des itérations. Les modèles entraînés à utiliser RC peuvent extrapoler et s'améliorer continuellement sur des horizons de raisonnement dépassant de plus d'un ordre de grandeur ceux observés pendant l'entraînement. Empiriquement, l'entraînement d'un modèle de 4B avec RC en utilisant un budget d'entraînement de 16k tokens améliore les performances sur HMMT 2025 de 40% à près de 70% avec 0,5 million de tokens au moment du test, surpassant à la fois des modèles de taille comparable et de nombreux LLM de raisonnement plus grands. Enfin, nous montrons également que les modèles entraînés avec RC peuvent exploiter plus efficacement les échafaudages existants pour améliorer davantage les performances lors du test, grâce aux capacités de génération conditionnée par synthèse améliorées acquises pendant l'entraînement.
English
Large Language Models (LLMs) that can continually improve beyond their training budgets are able to solve increasingly difficult problems by adapting at test time, a property we refer to as extrapolation. However, standard reinforcement learning (RL) operates over fixed problem distributions and training budgets, which limits extrapolation amidst distribution shift at test time. To address this, we introduce RC, an iterative decoding algorithm that replaces standard autoregressive decoding during both training and inference. RC exploits an asymmetry between the response generation and summarization capabilities of LLMs to construct reasoning chains that consistently improve across iterations. Models trained to use RC can extrapolate and continually improve over reasoning horizons more than an order of magnitude longer than those seen during training. Empirically, training a 4B model with RC using a 16k-token training budget improves performance on HMMT 2025 from 40% to nearly 70% with 0.5m tokens at test time, outperforming both comparably sized models and many larger reasoning LLMs. Finally, we also show that models trained with RC can more effectively leverage existing scaffolds to further scale test-time performance, due to the improved summary-conditioned generation abilities learned through training.