SIRI: Escalonamento de Aprendizado por Reforço Iterativo com Compressão Intercalada

SIRI: Scaling Iterative Reinforcement Learning with Interleaved Compression

September 29, 2025

Autores: Haoming Wen, Yushi Bai, Juanzi Li, Jie Tang

cs.AI

Resumo

Apresentamos o SIRI, Scaling Iterative Reinforcement Learning with Interleaved Compression, uma abordagem simples, porém eficaz de Aprendizado por Reforço (RL) para Modelos de Raciocínio de Grande Escala (LRMs) que possibilita um raciocínio mais eficiente e preciso. Estudos existentes observaram padrões de pensamento repetitivos em LRMs, e tentativas de reduzi-los frequentemente resultam em perda de desempenho. Neste artigo, demonstramos que essa compensação pode ser superada por meio de um regime de treinamento que alterna iterativamente entre comprimir e expandir o orçamento de raciocínio, ajustando dinamicamente o comprimento máximo de rollout durante o treinamento. A fase de compressão reduz o comprimento do rollout, forçando o modelo a tomar decisões precisas e valiosas dentro de um contexto limitado, o que efetivamente reduz tokens redundantes e aumenta a densidade de raciocínio. A fase de expansão, por sua vez, relaxa o limite de comprimento, proporcionando espaço para o modelo explorar e planejar em cenários de longo horizonte. Notavelmente, observamos que após cada ciclo de compressão-expansão, o desempenho do modelo melhora mesmo com a redução do comprimento de sua saída, aproximando-o progressivamente da fronteira de Pareto na compensação entre desempenho e eficiência. Ao treinar no DeepSeek-R1-Distill-Qwen-1.5B, o SIRI-low melhora o desempenho no AIME24 em 43,2% enquanto reduz o uso de tokens em 46,9% após três iterações, e o SIRI-high alcança a maior precisão em comparação com todos os outros métodos (Figura 1). Nossas descobertas destacam o potencial de oscilar periodicamente o comprimento de truncamento da saída do LRM durante o treinamento para equilibrar dinamicamente exploração e eficiência no raciocínio, convergindo para um "ponto ideal" entre os dois. Nossos modelos estão publicamente disponíveis.

English

We introduce SIRI, Scaling Iterative Reinforcement Learning with Interleaved Compression, a simple yet effective RL approach for Large Reasoning Models (LRMs) that enables more efficient and accurate reasoning. Existing studies have observed repetitive thinking patterns in LRMs, and attempts to reduce them often come at the cost of performance. In this paper, we show that this trade-off can be overcome through a training regime that iteratively alternates between compressing and expanding the reasoning budget, by dynamically adjusting the maximum rollout length during training. The compression phase cuts the rollout length, forcing the model to make precise and valuable decisions within a limited context, which effectively reduces redundant tokens and increases reasoning density. The expansion phase then relaxes the length limit, providing space for the model to explore and plan in long-horizon settings. Remarkably, we find that after each compression-expansion cycle, the model's performance improves even as its output length decreases, steadily pushing it closer to the Pareto frontier in the performance-efficiency trade-off. Training on DeepSeek-R1-Distill-Qwen-1.5B, SIRI-low improves performance on AIME24 by 43.2% while reducing token usage by 46.9% after three iterations, and SIRI-high achieves the highest accuracy compared to all other methods (Figure 1). Our findings shed light on the potential of periodically oscillating the LRM's output truncation length during training to dynamically balance exploration and efficiency in reasoning, converging towards an optimal "sweet spot" between the two. Our models are publicly available.