Rapport Technique du Skywork Open Reasoner 1

Skywork Open Reasoner 1 Technical Report

May 28, 2025

papers.authors: Jujie He, Jiacai Liu, Chris Yuhao Liu, Rui Yan, Chaojie Wang, Peng Cheng, Xiaoyu Zhang, Fuxiang Zhang, Jiacheng Xu, Wei Shen, Siyuan Li, Liang Zeng, Tianwen Wei, Cheng Cheng, Bo An, Yang Liu, Yahui Zhou

cs.AI

papers.abstract

Le succès de DeepSeek-R1 souligne le rôle significatif de l'apprentissage par renforcement (RL) dans l'amélioration des capacités de raisonnement des grands modèles de langage (LLMs). Dans ce travail, nous présentons Skywork-OR1, une implémentation efficace et scalable de RL pour les modèles à longues chaînes de pensée (CoT). En s'appuyant sur la série de modèles DeepSeek-R1-Distill, notre approche RL obtient des gains de performance notables, augmentant la précision moyenne sur AIME24, AIME25 et LiveCodeBench de 57,8 % à 72,8 % (+15,0 %) pour le modèle 32B et de 43,6 % à 57,5 % (+13,9 %) pour le modèle 7B. Notre modèle Skywork-OR1-32B surpasse à la fois DeepSeek-R1 et Qwen3-32B sur les benchmarks AIME24 et AIME25, tout en obtenant des résultats comparables sur LiveCodeBench. Les modèles Skywork-OR1-7B et Skywork-OR1-Math-7B démontrent des capacités de raisonnement compétitives parmi les modèles de taille similaire. Nous effectuons des études d'ablation complètes sur les composants clés de notre pipeline d'entraînement pour valider leur efficacité. De plus, nous étudions en profondeur le phénomène d'effondrement de l'entropie, identifions les facteurs clés affectant la dynamique de l'entropie, et démontrons que l'atténuation de l'effondrement prématuré de l'entropie est cruciale pour améliorer les performances en test. Pour soutenir la recherche communautaire, nous ouvrons entièrement les poids de nos modèles, le code d'entraînement et les jeux de données d'entraînement.

English

The success of DeepSeek-R1 underscores the significant role of reinforcement learning (RL) in enhancing the reasoning capabilities of large language models (LLMs). In this work, we present Skywork-OR1, an effective and scalable RL implementation for long Chain-of-Thought (CoT) models. Building on the DeepSeek-R1-Distill model series, our RL approach achieves notable performance gains, increasing average accuracy across AIME24, AIME25, and LiveCodeBench from 57.8% to 72.8% (+15.0%) for the 32B model and from 43.6% to 57.5% (+13.9%) for the 7B model. Our Skywork-OR1-32B model surpasses both DeepSeek-R1 and Qwen3-32B on the AIME24 and AIME25 benchmarks, while achieving comparable results on LiveCodeBench. The Skywork-OR1-7B and Skywork-OR1-Math-7B models demonstrate competitive reasoning capabilities among models of similar size. We perform comprehensive ablation studies on the core components of our training pipeline to validate their effectiveness. Additionally, we thoroughly investigate the phenomenon of entropy collapse, identify key factors affecting entropy dynamics, and demonstrate that mitigating premature entropy collapse is critical for improved test performance. To support community research, we fully open-source our model weights, training code, and training datasets.