Informe Técnico de Skywork Open Reasoner 1

Skywork Open Reasoner 1 Technical Report

May 28, 2025

Autores: Jujie He, Jiacai Liu, Chris Yuhao Liu, Rui Yan, Chaojie Wang, Peng Cheng, Xiaoyu Zhang, Fuxiang Zhang, Jiacheng Xu, Wei Shen, Siyuan Li, Liang Zeng, Tianwen Wei, Cheng Cheng, Bo An, Yang Liu, Yahui Zhou

cs.AI

Resumen

El éxito de DeepSeek-R1 subraya el papel significativo del aprendizaje por refuerzo (RL, por sus siglas en inglés) en la mejora de las capacidades de razonamiento de los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés). En este trabajo, presentamos Skywork-OR1, una implementación efectiva y escalable de RL para modelos de Cadena de Pensamiento (CoT, por sus siglas en inglés) largos. Basándonos en la serie de modelos DeepSeek-R1-Distill, nuestro enfoque de RL logra mejoras notables en el rendimiento, aumentando la precisión promedio en AIME24, AIME25 y LiveCodeBench del 57.8% al 72.8% (+15.0%) para el modelo de 32B y del 43.6% al 57.5% (+13.9%) para el modelo de 7B. Nuestro modelo Skywork-OR1-32B supera tanto a DeepSeek-R1 como a Qwen3-32B en los benchmarks AIME24 y AIME25, mientras que obtiene resultados comparables en LiveCodeBench. Los modelos Skywork-OR1-7B y Skywork-OR1-Math-7B demuestran capacidades de razonamiento competitivas entre modelos de tamaño similar. Realizamos estudios de ablación exhaustivos sobre los componentes clave de nuestra pipeline de entrenamiento para validar su efectividad. Además, investigamos a fondo el fenómeno del colapso de entropía, identificamos los factores clave que afectan la dinámica de la entropía y demostramos que mitigar el colapso prematuro de la entropía es crucial para mejorar el rendimiento en las pruebas. Para apoyar la investigación comunitaria, liberamos completamente los pesos de nuestros modelos, el código de entrenamiento y los conjuntos de datos de entrenamiento.

English

The success of DeepSeek-R1 underscores the significant role of reinforcement learning (RL) in enhancing the reasoning capabilities of large language models (LLMs). In this work, we present Skywork-OR1, an effective and scalable RL implementation for long Chain-of-Thought (CoT) models. Building on the DeepSeek-R1-Distill model series, our RL approach achieves notable performance gains, increasing average accuracy across AIME24, AIME25, and LiveCodeBench from 57.8% to 72.8% (+15.0%) for the 32B model and from 43.6% to 57.5% (+13.9%) for the 7B model. Our Skywork-OR1-32B model surpasses both DeepSeek-R1 and Qwen3-32B on the AIME24 and AIME25 benchmarks, while achieving comparable results on LiveCodeBench. The Skywork-OR1-7B and Skywork-OR1-Math-7B models demonstrate competitive reasoning capabilities among models of similar size. We perform comprehensive ablation studies on the core components of our training pipeline to validate their effectiveness. Additionally, we thoroughly investigate the phenomenon of entropy collapse, identify key factors affecting entropy dynamics, and demonstrate that mitigating premature entropy collapse is critical for improved test performance. To support community research, we fully open-source our model weights, training code, and training datasets.