Redeneercache: Continue Verbetering over Lange Horizons via Kort-Horizon RL

Reasoning Cache: Continual Improvement Over Long Horizons via Short-Horizon RL

February 3, 2026

Auteurs: Ian Wu, Yuxiao Qu, Amrith Setlur, Aviral Kumar

cs.AI

Samenvatting

Grote Taalmodellen (GTM's) die zich continu kunnen verbeteren buiten hun trainingsbudget om, zijn in staat steeds moeilijkere problemen op te lossen door zich aan te passen tijdens de testfase, een eigenschap die we extrapolatie noemen. Echter, standaard reinforcement learning (RL) werkt met vaste probleemverdelingen en trainingsbudgetten, wat extrapolatie beperkt bij distributieverschuiving tijdens de testfase. Om dit aan te pakken, introduceren we RC, een iteratief decodeeralgoritme dat standaard autoregressieve decodering vervangt tijdens zowel training als inferentie. RC benut een asymmetrie tussen de responsgeneratie- en samenvattingscapaciteiten van GTM's om redeneerketens te construeren die consistent verbeteren over iteraties heen. Modellen die getraind zijn om RC te gebruiken, kunnen extrapoleren en zich continu verbeteren over redeneerhorizons die meer dan een orde van grootte langer zijn dan die gezien tijdens de training. Empirisch gezien verbetert het trainen van een 4B-model met RC met een trainingsbudget van 16k tokens de prestaties op HMMT 2025 van 40% naar bijna 70% met 0,5 miljoen tokens tijdens de testfase, waarmee het zowel vergelijkbaar grote modellen als veel grotere redeneer-GTM's overtreft. Ten slotte tonen we ook aan dat modellen getraind met RC bestaande scaffolds effectiever kunnen benutten om de prestaties tijdens de testfase verder op te schalen, dankzij de verbeterde, op samenvattingen geconditioneerde generatievaardigheden die worden aangeleerd tijdens de training.

English

Large Language Models (LLMs) that can continually improve beyond their training budgets are able to solve increasingly difficult problems by adapting at test time, a property we refer to as extrapolation. However, standard reinforcement learning (RL) operates over fixed problem distributions and training budgets, which limits extrapolation amidst distribution shift at test time. To address this, we introduce RC, an iterative decoding algorithm that replaces standard autoregressive decoding during both training and inference. RC exploits an asymmetry between the response generation and summarization capabilities of LLMs to construct reasoning chains that consistently improve across iterations. Models trained to use RC can extrapolate and continually improve over reasoning horizons more than an order of magnitude longer than those seen during training. Empirically, training a 4B model with RC using a 16k-token training budget improves performance on HMMT 2025 from 40% to nearly 70% with 0.5m tokens at test time, outperforming both comparably sized models and many larger reasoning LLMs. Finally, we also show that models trained with RC can more effectively leverage existing scaffolds to further scale test-time performance, due to the improved summary-conditioned generation abilities learned through training.