Skywork Open Reasoner 1 Technisch Rapport

Skywork Open Reasoner 1 Technical Report

May 28, 2025

Auteurs: Jujie He, Jiacai Liu, Chris Yuhao Liu, Rui Yan, Chaojie Wang, Peng Cheng, Xiaoyu Zhang, Fuxiang Zhang, Jiacheng Xu, Wei Shen, Siyuan Li, Liang Zeng, Tianwen Wei, Cheng Cheng, Bo An, Yang Liu, Yahui Zhou

cs.AI

Samenvatting

Het succes van DeepSeek-R1 onderstreept de belangrijke rol van reinforcement learning (RL) bij het verbeteren van de redeneervaardigheden van grote taalmodellen (LLMs). In dit werk presenteren we Skywork-OR1, een effectieve en schaalbare RL-implementatie voor lange Chain-of-Thought (CoT) modellen. Gebaseerd op de DeepSeek-R1-Distill modelreeks, behaalt onze RL-aanpak aanzienlijke prestatieverbeteringen, waarbij de gemiddelde nauwkeurigheid over AIME24, AIME25 en LiveCodeBench stijgt van 57,8% naar 72,8% (+15,0%) voor het 32B-model en van 43,6% naar 57,5% (+13,9%) voor het 7B-model. Ons Skywork-OR1-32B-model overtreft zowel DeepSeek-R1 als Qwen3-32B op de AIME24- en AIME25-benchmarks, terwijl het vergelijkbare resultaten behaalt op LiveCodeBench. De Skywork-OR1-7B en Skywork-OR1-Math-7B modellen tonen competitieve redeneervaardigheden aan onder modellen van vergelijkbare grootte. We voeren uitgebreide ablatiestudies uit op de kerncomponenten van onze trainingspipeline om hun effectiviteit te valideren. Daarnaast onderzoeken we grondig het fenomeen van entropie-instorting, identificeren we belangrijke factoren die de entropiedynamiek beïnvloeden, en tonen we aan dat het beperken van voortijdige entropie-instorting cruciaal is voor verbeterde testprestaties. Om gemeenschapsonderzoek te ondersteunen, maken we onze modelgewichten, trainingscode en trainingsdatasets volledig open source.

English

The success of DeepSeek-R1 underscores the significant role of reinforcement learning (RL) in enhancing the reasoning capabilities of large language models (LLMs). In this work, we present Skywork-OR1, an effective and scalable RL implementation for long Chain-of-Thought (CoT) models. Building on the DeepSeek-R1-Distill model series, our RL approach achieves notable performance gains, increasing average accuracy across AIME24, AIME25, and LiveCodeBench from 57.8% to 72.8% (+15.0%) for the 32B model and from 43.6% to 57.5% (+13.9%) for the 7B model. Our Skywork-OR1-32B model surpasses both DeepSeek-R1 and Qwen3-32B on the AIME24 and AIME25 benchmarks, while achieving comparable results on LiveCodeBench. The Skywork-OR1-7B and Skywork-OR1-Math-7B models demonstrate competitive reasoning capabilities among models of similar size. We perform comprehensive ablation studies on the core components of our training pipeline to validate their effectiveness. Additionally, we thoroughly investigate the phenomenon of entropy collapse, identify key factors affecting entropy dynamics, and demonstrate that mitigating premature entropy collapse is critical for improved test performance. To support community research, we fully open-source our model weights, training code, and training datasets.