SIRI: Scalabilità dell'Apprendimento per Rinforzo Iterativo con Compressione Intervallata

SIRI: Scaling Iterative Reinforcement Learning with Interleaved Compression

September 29, 2025

Autori: Haoming Wen, Yushi Bai, Juanzi Li, Jie Tang

cs.AI

Abstract

Presentiamo SIRI, Scaling Iterative Reinforcement Learning with Interleaved Compression, un approccio RL semplice ma efficace per i Large Reasoning Models (LRM) che consente un ragionamento più efficiente e accurato. Studi esistenti hanno osservato schemi di pensiero ripetitivi nei LRM, e i tentativi di ridurli spesso comportano un compromesso in termini di prestazioni. In questo articolo, dimostriamo che questo compromesso può essere superato attraverso un regime di addestramento che alterna iterativamente compressione ed espansione del budget di ragionamento, regolando dinamicamente la lunghezza massima del rollout durante l'addestramento. La fase di compressione riduce la lunghezza del rollout, costringendo il modello a prendere decisioni precise e valide in un contesto limitato, riducendo efficacemente i token ridondanti e aumentando la densità del ragionamento. La fase di espansione rilassa poi il limite di lunghezza, fornendo spazio al modello per esplorare e pianificare in contesti a lungo termine. In modo notevole, osserviamo che dopo ogni ciclo di compressione-espansione, le prestazioni del modello migliorano anche se la lunghezza dell'output diminuisce, avvicinandolo progressivamente alla frontiera di Pareto nel compromesso tra prestazioni ed efficienza. Addestrato su DeepSeek-R1-Distill-Qwen-1.5B, SIRI-low migliora le prestazioni su AIME24 del 43,2% riducendo l'uso di token del 46,9% dopo tre iterazioni, mentre SIRI-high raggiunge la massima accuratezza rispetto a tutti gli altri metodi (Figura 1). I nostri risultati evidenziano il potenziale di oscillare periodicamente la lunghezza di troncamento dell'output del LRM durante l'addestramento per bilanciare dinamicamente esplorazione ed efficienza nel ragionamento, convergendo verso un "punto ottimale" tra i due. I nostri modelli sono pubblicamente disponibili.

English

We introduce SIRI, Scaling Iterative Reinforcement Learning with Interleaved Compression, a simple yet effective RL approach for Large Reasoning Models (LRMs) that enables more efficient and accurate reasoning. Existing studies have observed repetitive thinking patterns in LRMs, and attempts to reduce them often come at the cost of performance. In this paper, we show that this trade-off can be overcome through a training regime that iteratively alternates between compressing and expanding the reasoning budget, by dynamically adjusting the maximum rollout length during training. The compression phase cuts the rollout length, forcing the model to make precise and valuable decisions within a limited context, which effectively reduces redundant tokens and increases reasoning density. The expansion phase then relaxes the length limit, providing space for the model to explore and plan in long-horizon settings. Remarkably, we find that after each compression-expansion cycle, the model's performance improves even as its output length decreases, steadily pushing it closer to the Pareto frontier in the performance-efficiency trade-off. Training on DeepSeek-R1-Distill-Qwen-1.5B, SIRI-low improves performance on AIME24 by 43.2% while reducing token usage by 46.9% after three iterations, and SIRI-high achieves the highest accuracy compared to all other methods (Figure 1). Our findings shed light on the potential of periodically oscillating the LRM's output truncation length during training to dynamically balance exploration and efficiency in reasoning, converging towards an optimal "sweet spot" between the two. Our models are publicly available.