SIRI: Escalado del Aprendizaje por Refuerzo Iterativo con Compresión Intercalada

Resumen

Presentamos SIRI, Scaling Iterative Reinforcement Learning with Interleaved Compression (Aprendizaje por Refuerzo Iterativo con Compresión Intercalada), un enfoque simple pero efectivo de aprendizaje por refuerzo (RL) para Modelos de Razonamiento a Gran Escala (LRMs, por sus siglas en inglés) que permite un razonamiento más eficiente y preciso. Estudios previos han observado patrones de pensamiento repetitivos en los LRMs, y los intentos por reducirlos suelen implicar un costo en el rendimiento. En este artículo, demostramos que este compromiso puede superarse mediante un régimen de entrenamiento que alterna iterativamente entre comprimir y expandir el presupuesto de razonamiento, ajustando dinámicamente la longitud máxima de despliegue durante el entrenamiento. La fase de compresión reduce la longitud del despliegue, obligando al modelo a tomar decisiones precisas y valiosas dentro de un contexto limitado, lo que reduce efectivamente los tokens redundantes y aumenta la densidad del razonamiento. La fase de expansión relaja el límite de longitud, proporcionando espacio para que el modelo explore y planifique en escenarios de largo alcance. Notablemente, observamos que después de cada ciclo de compresión-expansión, el rendimiento del modelo mejora incluso cuando su longitud de salida disminuye, acercándolo gradualmente a la frontera de Pareto en el compromiso entre rendimiento y eficiencia. Al entrenar en DeepSeek-R1-Distill-Qwen-1.5B, SIRI-low mejora el rendimiento en AIME24 en un 43.2% mientras reduce el uso de tokens en un 46.9% después de tres iteraciones, y SIRI-high alcanza la mayor precisión en comparación con todos los demás métodos (Figura 1). Nuestros hallazgos arrojan luz sobre el potencial de oscilar periódicamente la longitud de truncamiento de salida del LRM durante el entrenamiento para equilibrar dinámicamente la exploración y la eficiencia en el razonamiento, convergiendo hacia un "punto óptimo" entre ambos. Nuestros modelos están disponibles públicamente.

English

We introduce SIRI, Scaling Iterative Reinforcement Learning with Interleaved Compression, a simple yet effective RL approach for Large Reasoning Models (LRMs) that enables more efficient and accurate reasoning. Existing studies have observed repetitive thinking patterns in LRMs, and attempts to reduce them often come at the cost of performance. In this paper, we show that this trade-off can be overcome through a training regime that iteratively alternates between compressing and expanding the reasoning budget, by dynamically adjusting the maximum rollout length during training. The compression phase cuts the rollout length, forcing the model to make precise and valuable decisions within a limited context, which effectively reduces redundant tokens and increases reasoning density. The expansion phase then relaxes the length limit, providing space for the model to explore and plan in long-horizon settings. Remarkably, we find that after each compression-expansion cycle, the model's performance improves even as its output length decreases, steadily pushing it closer to the Pareto frontier in the performance-efficiency trade-off. Training on DeepSeek-R1-Distill-Qwen-1.5B, SIRI-low improves performance on AIME24 by 43.2% while reducing token usage by 46.9% after three iterations, and SIRI-high achieves the highest accuracy compared to all other methods (Figure 1). Our findings shed light on the potential of periodically oscillating the LRM's output truncation length during training to dynamically balance exploration and efficiency in reasoning, converging towards an optimal "sweet spot" between the two. Our models are publicly available.

SIRI: Escalado del Aprendizaje por Refuerzo Iterativo con Compresión Intercalada

SIRI: Scaling Iterative Reinforcement Learning with Interleaved Compression

Resumen

Support