SIRI: Масштабирование итеративного обучения с подкреплением с чередующимся сжатием

SIRI: Scaling Iterative Reinforcement Learning with Interleaved Compression

September 29, 2025

Авторы: Haoming Wen, Yushi Bai, Juanzi Li, Jie Tang

cs.AI

Аннотация

Мы представляем SIRI (Scaling Iterative Reinforcement Learning with Interleaved Compression) — простой, но эффективный подход к обучению с подкреплением для крупных моделей рассуждений (Large Reasoning Models, LRMs), который обеспечивает более эффективное и точное выполнение задач. Существующие исследования выявили повторяющиеся паттерны мышления в LRMs, и попытки их сокращения часто приводят к снижению производительности. В данной работе мы показываем, что этот компромисс можно преодолеть с помощью режима обучения, который итеративно чередует сжатие и расширение бюджета рассуждений, динамически регулируя максимальную длину rollout в процессе обучения. Фаза сжатия сокращает длину rollout, вынуждая модель принимать точные и ценные решения в ограниченном контексте, что эффективно уменьшает избыточные токены и повышает плотность рассуждений. Фаза расширения, напротив, ослабляет ограничение на длину, предоставляя модели пространство для исследования и планирования в долгосрочных сценариях. Примечательно, что после каждого цикла сжатия-расширения производительность модели улучшается, даже несмотря на сокращение длины вывода, постепенно приближая её к границе Парето в компромиссе между производительностью и эффективностью. При обучении на модели DeepSeek-R1-Distill-Qwen-1.5B, SIRI-low улучшает производительность на AIME24 на 43,2%, сокращая использование токенов на 46,9% после трёх итераций, а SIRI-high достигает наивысшей точности по сравнению со всеми другими методами (Рисунок 1). Наши результаты раскрывают потенциал периодического изменения длины усечения вывода LRM в процессе обучения для динамического баланса между исследованием и эффективностью рассуждений, сходясь к оптимальной "золотой середине" между ними. Наши модели доступны для общего пользования.

English

We introduce SIRI, Scaling Iterative Reinforcement Learning with Interleaved Compression, a simple yet effective RL approach for Large Reasoning Models (LRMs) that enables more efficient and accurate reasoning. Existing studies have observed repetitive thinking patterns in LRMs, and attempts to reduce them often come at the cost of performance. In this paper, we show that this trade-off can be overcome through a training regime that iteratively alternates between compressing and expanding the reasoning budget, by dynamically adjusting the maximum rollout length during training. The compression phase cuts the rollout length, forcing the model to make precise and valuable decisions within a limited context, which effectively reduces redundant tokens and increases reasoning density. The expansion phase then relaxes the length limit, providing space for the model to explore and plan in long-horizon settings. Remarkably, we find that after each compression-expansion cycle, the model's performance improves even as its output length decreases, steadily pushing it closer to the Pareto frontier in the performance-efficiency trade-off. Training on DeepSeek-R1-Distill-Qwen-1.5B, SIRI-low improves performance on AIME24 by 43.2% while reducing token usage by 46.9% after three iterations, and SIRI-high achieves the highest accuracy compared to all other methods (Figure 1). Our findings shed light on the potential of periodically oscillating the LRM's output truncation length during training to dynamically balance exploration and efficiency in reasoning, converging towards an optimal "sweet spot" between the two. Our models are publicly available.