SIRI: Schaalbaar Iteratief Reinforcement Learning met Intergeweven Compressie

SIRI: Scaling Iterative Reinforcement Learning with Interleaved Compression

September 29, 2025

Auteurs: Haoming Wen, Yushi Bai, Juanzi Li, Jie Tang

cs.AI

Samenvatting

We introduceren SIRI, Scaling Iterative Reinforcement Learning with Interleaved Compression, een eenvoudige maar effectieve Reinforcement Learning (RL)-aanpak voor Large Reasoning Models (LRMs) die efficiënter en nauwkeuriger redeneren mogelijk maakt. Bestaande studies hebben repetitieve denkpatronen in LRMs waargenomen, en pogingen om deze te verminderen gaan vaak ten koste van de prestaties. In dit artikel laten we zien dat deze afweging overwonnen kan worden door een trainingsregime dat iteratief afwisselt tussen het comprimeren en uitbreiden van het redeneerbudget, door dynamisch de maximale rollout-lengte tijdens de training aan te passen. De compressiefase verkort de rollout-lengte, waardoor het model gedwongen wordt om precieze en waardevolle beslissingen te nemen binnen een beperkte context, wat effectief redundante tokens vermindert en de redeneerdichtheid verhoogt. De expansiefase versoepelt vervolgens de lengtebeperking, waardoor het model ruimte krijgt om te verkennen en te plannen in langetermijnscenario’s. Opmerkelijk genoeg ontdekken we dat na elke compressie-expansiecyclus de prestaties van het model verbeteren, zelfs terwijl de uitvoerlengte afneemt, waardoor het gestaag dichter bij de Pareto-grens in de prestatie-efficiëntie-afweging komt. Bij training op DeepSeek-R1-Distill-Qwen-1.5B verbetert SIRI-low de prestaties op AIME24 met 43,2% terwijl het tokengebruik met 46,9% wordt verminderd na drie iteraties, en SIRI-high behaalt de hoogste nauwkeurigheid in vergelijking met alle andere methoden (Figuur 1). Onze bevindingen werpen licht op het potentieel van het periodiek laten oscilleren van de uitvoertruncatielengte van een LRM tijdens de training om dynamisch een balans te vinden tussen exploratie en efficiëntie in redeneren, wat convergeert naar een optimaal "sweet spot" tussen de twee. Onze modellen zijn publiekelijk beschikbaar.

English

We introduce SIRI, Scaling Iterative Reinforcement Learning with Interleaved Compression, a simple yet effective RL approach for Large Reasoning Models (LRMs) that enables more efficient and accurate reasoning. Existing studies have observed repetitive thinking patterns in LRMs, and attempts to reduce them often come at the cost of performance. In this paper, we show that this trade-off can be overcome through a training regime that iteratively alternates between compressing and expanding the reasoning budget, by dynamically adjusting the maximum rollout length during training. The compression phase cuts the rollout length, forcing the model to make precise and valuable decisions within a limited context, which effectively reduces redundant tokens and increases reasoning density. The expansion phase then relaxes the length limit, providing space for the model to explore and plan in long-horizon settings. Remarkably, we find that after each compression-expansion cycle, the model's performance improves even as its output length decreases, steadily pushing it closer to the Pareto frontier in the performance-efficiency trade-off. Training on DeepSeek-R1-Distill-Qwen-1.5B, SIRI-low improves performance on AIME24 by 43.2% while reducing token usage by 46.9% after three iterations, and SIRI-high achieves the highest accuracy compared to all other methods (Figure 1). Our findings shed light on the potential of periodically oscillating the LRM's output truncation length during training to dynamically balance exploration and efficiency in reasoning, converging towards an optimal "sweet spot" between the two. Our models are publicly available.