SIRI: Skalierendes iteratives Reinforcement-Lernen mit verschachtelter Kompression

SIRI: Scaling Iterative Reinforcement Learning with Interleaved Compression

September 29, 2025

papers.authors: Haoming Wen, Yushi Bai, Juanzi Li, Jie Tang

cs.AI

papers.abstract

Wir stellen SIRI vor, Scaling Iterative Reinforcement Learning with Interleaved Compression, einen einfachen, aber effektiven Ansatz für Reinforcement Learning (RL) bei Large Reasoning Models (LRMs), der eine effizientere und präzisere Schlussfolgerung ermöglicht. Bisherige Studien haben repetitive Denkmuster in LRMs beobachtet, und Versuche, diese zu reduzieren, gehen oft auf Kosten der Leistung. In dieser Arbeit zeigen wir, dass dieser Kompromiss durch ein Trainingsregime überwunden werden kann, das iterativ zwischen Kompression und Erweiterung des Reasoning-Budgets wechselt, indem die maximale Rollout-Länge während des Trainings dynamisch angepasst wird. Die Kompressionsphase verkürzt die Rollout-Länge und zwingt das Modell, präzise und wertvolle Entscheidungen in einem begrenzten Kontext zu treffen, wodurch redundante Token effektiv reduziert und die Reasoning-Dichte erhöht wird. Die Expansionsphase lockert dann die Längenbeschränkung und bietet dem Modell Raum, in langfristigen Szenarien zu explorieren und zu planen. Bemerkenswerterweise stellen wir fest, dass sich die Leistung des Modells nach jedem Kompressions-Expansions-Zyklus verbessert, selbst wenn die Ausgabelänge abnimmt, wodurch es sich kontinuierlich der Pareto-Front im Leistungs-Effizienz-Kompromiss annähert. Beim Training auf DeepSeek-R1-Distill-Qwen-1.5B verbessert SIRI-low die Leistung auf AIME24 um 43,2 %, während der Token-Verbrauch nach drei Iterationen um 46,9 % reduziert wird, und SIRI-high erreicht im Vergleich zu allen anderen Methoden die höchste Genauigkeit (Abbildung 1). Unsere Ergebnisse beleuchten das Potenzial, die Ausgabekürzungslänge des LRM während des Trainings periodisch zu oszillieren, um Exploration und Effizienz im Reasoning dynamisch auszubalancieren und sich einem optimalen „Sweet Spot“ zwischen beiden zu nähern. Unsere Modelle sind öffentlich verfügbar.

English

We introduce SIRI, Scaling Iterative Reinforcement Learning with Interleaved Compression, a simple yet effective RL approach for Large Reasoning Models (LRMs) that enables more efficient and accurate reasoning. Existing studies have observed repetitive thinking patterns in LRMs, and attempts to reduce them often come at the cost of performance. In this paper, we show that this trade-off can be overcome through a training regime that iteratively alternates between compressing and expanding the reasoning budget, by dynamically adjusting the maximum rollout length during training. The compression phase cuts the rollout length, forcing the model to make precise and valuable decisions within a limited context, which effectively reduces redundant tokens and increases reasoning density. The expansion phase then relaxes the length limit, providing space for the model to explore and plan in long-horizon settings. Remarkably, we find that after each compression-expansion cycle, the model's performance improves even as its output length decreases, steadily pushing it closer to the Pareto frontier in the performance-efficiency trade-off. Training on DeepSeek-R1-Distill-Qwen-1.5B, SIRI-low improves performance on AIME24 by 43.2% while reducing token usage by 46.9% after three iterations, and SIRI-high achieves the highest accuracy compared to all other methods (Figure 1). Our findings shed light on the potential of periodically oscillating the LRM's output truncation length during training to dynamically balance exploration and efficiency in reasoning, converging towards an optimal "sweet spot" between the two. Our models are publicly available.