SIRI : Mise à l'échelle de l'apprentissage par renforcement itératif avec compression entrelacée

SIRI: Scaling Iterative Reinforcement Learning with Interleaved Compression

September 29, 2025

papers.authors: Haoming Wen, Yushi Bai, Juanzi Li, Jie Tang

cs.AI

papers.abstract

Nous présentons SIRI, Scaling Iterative Reinforcement Learning with Interleaved Compression, une approche simple mais efficace d'apprentissage par renforcement (RL) pour les modèles de raisonnement à grande échelle (LRMs), permettant un raisonnement plus efficace et précis. Les études existantes ont observé des schémas de pensée répétitifs dans les LRMs, et les tentatives pour les réduire se font souvent au détriment des performances. Dans cet article, nous montrons que ce compromis peut être surmonté grâce à un régime d'entraînement qui alterne de manière itérative entre la compression et l'expansion du budget de raisonnement, en ajustant dynamiquement la longueur maximale de déploiement pendant l'entraînement. La phase de compression réduit la longueur de déploiement, forçant le modèle à prendre des décisions précises et pertinentes dans un contexte limité, ce qui réduit efficacement les tokens redondants et augmente la densité de raisonnement. La phase d'expansion relâche ensuite la limite de longueur, offrant un espace au modèle pour explorer et planifier dans des scénarios à long terme. De manière remarquable, nous constatons qu'après chaque cycle de compression-expansion, les performances du modèle s'améliorent même si la longueur de sa sortie diminue, le rapprochant progressivement de la frontière de Pareto dans le compromis performance-efficacité. En entraînant sur DeepSeek-R1-Distill-Qwen-1.5B, SIRI-low améliore les performances sur AIME24 de 43,2 % tout en réduisant l'utilisation de tokens de 46,9 % après trois itérations, et SIRI-high atteint la plus haute précision par rapport à toutes les autres méthodes (Figure 1). Nos résultats mettent en lumière le potentiel d'osciller périodiquement la longueur de troncature de sortie du LRM pendant l'entraînement pour équilibrer dynamiquement l'exploration et l'efficacité dans le raisonnement, convergeant vers un "point optimal" entre les deux. Nos modèles sont disponibles publiquement.

English

We introduce SIRI, Scaling Iterative Reinforcement Learning with Interleaved Compression, a simple yet effective RL approach for Large Reasoning Models (LRMs) that enables more efficient and accurate reasoning. Existing studies have observed repetitive thinking patterns in LRMs, and attempts to reduce them often come at the cost of performance. In this paper, we show that this trade-off can be overcome through a training regime that iteratively alternates between compressing and expanding the reasoning budget, by dynamically adjusting the maximum rollout length during training. The compression phase cuts the rollout length, forcing the model to make precise and valuable decisions within a limited context, which effectively reduces redundant tokens and increases reasoning density. The expansion phase then relaxes the length limit, providing space for the model to explore and plan in long-horizon settings. Remarkably, we find that after each compression-expansion cycle, the model's performance improves even as its output length decreases, steadily pushing it closer to the Pareto frontier in the performance-efficiency trade-off. Training on DeepSeek-R1-Distill-Qwen-1.5B, SIRI-low improves performance on AIME24 by 43.2% while reducing token usage by 46.9% after three iterations, and SIRI-high achieves the highest accuracy compared to all other methods (Figure 1). Our findings shed light on the potential of periodically oscillating the LRM's output truncation length during training to dynamically balance exploration and efficiency in reasoning, converging towards an optimal "sweet spot" between the two. Our models are publicly available.