Skywork Open Reasoner 1 Technischer Bericht

Skywork Open Reasoner 1 Technical Report

May 28, 2025

Autoren: Jujie He, Jiacai Liu, Chris Yuhao Liu, Rui Yan, Chaojie Wang, Peng Cheng, Xiaoyu Zhang, Fuxiang Zhang, Jiacheng Xu, Wei Shen, Siyuan Li, Liang Zeng, Tianwen Wei, Cheng Cheng, Bo An, Yang Liu, Yahui Zhou

cs.AI

Zusammenfassung

Der Erfolg von DeepSeek-R1 unterstreicht die bedeutende Rolle von Reinforcement Learning (RL) bei der Verbesserung der Denkfähigkeiten großer Sprachmodelle (LLMs). In dieser Arbeit präsentieren wir Skywork-OR1, eine effektive und skalierbare RL-Implementierung für lange Chain-of-Thought (CoT)-Modelle. Aufbauend auf der DeepSeek-R1-Distill-Modellreihe erzielt unser RL-Ansatz bemerkenswerte Leistungssteigerungen, indem die durchschnittliche Genauigkeit über AIME24, AIME25 und LiveCodeBench von 57,8 % auf 72,8 % (+15,0 %) für das 32B-Modell und von 43,6 % auf 57,5 % (+13,9 %) für das 7B-Modell erhöht wird. Unser Skywork-OR1-32B-Modell übertrifft sowohl DeepSeek-R1 als auch Qwen3-32B auf den AIME24- und AIME25-Benchmarks, während es auf LiveCodeBench vergleichbare Ergebnisse erzielt. Die Modelle Skywork-OR1-7B und Skywork-OR1-Math-7B demonstrieren wettbewerbsfähige Denkfähigkeiten unter Modellen ähnlicher Größe. Wir führen umfassende Ablationsstudien zu den Kernkomponenten unseres Trainingspipelines durch, um deren Wirksamkeit zu validieren. Zudem untersuchen wir gründlich das Phänomen des Entropiezusammenbruchs, identifizieren Schlüsselfaktoren, die die Entropiedynamik beeinflussen, und zeigen, dass die Minderung eines vorzeitigen Entropiezusammenbruchs entscheidend für eine verbesserte Testleistung ist. Um die Forschung in der Community zu unterstützen, stellen wir unsere Modellgewichte, Trainingscode und Trainingsdatensätze vollständig als Open Source zur Verfügung.

English

The success of DeepSeek-R1 underscores the significant role of reinforcement learning (RL) in enhancing the reasoning capabilities of large language models (LLMs). In this work, we present Skywork-OR1, an effective and scalable RL implementation for long Chain-of-Thought (CoT) models. Building on the DeepSeek-R1-Distill model series, our RL approach achieves notable performance gains, increasing average accuracy across AIME24, AIME25, and LiveCodeBench from 57.8% to 72.8% (+15.0%) for the 32B model and from 43.6% to 57.5% (+13.9%) for the 7B model. Our Skywork-OR1-32B model surpasses both DeepSeek-R1 and Qwen3-32B on the AIME24 and AIME25 benchmarks, while achieving comparable results on LiveCodeBench. The Skywork-OR1-7B and Skywork-OR1-Math-7B models demonstrate competitive reasoning capabilities among models of similar size. We perform comprehensive ablation studies on the core components of our training pipeline to validate their effectiveness. Additionally, we thoroughly investigate the phenomenon of entropy collapse, identify key factors affecting entropy dynamics, and demonstrate that mitigating premature entropy collapse is critical for improved test performance. To support community research, we fully open-source our model weights, training code, and training datasets.