Skywork Open Reasoner 1 技術レポート

Skywork Open Reasoner 1 Technical Report

May 28, 2025

著者: Jujie He, Jiacai Liu, Chris Yuhao Liu, Rui Yan, Chaojie Wang, Peng Cheng, Xiaoyu Zhang, Fuxiang Zhang, Jiacheng Xu, Wei Shen, Siyuan Li, Liang Zeng, Tianwen Wei, Cheng Cheng, Bo An, Yang Liu, Yahui Zhou

cs.AI

要旨

DeepSeek-R1の成功は、大規模言語モデル（LLM）の推論能力を強化する上で強化学習（RL）が果たす重要な役割を浮き彫りにしています。本研究では、長いChain-of-Thought（CoT）モデルに対して効果的かつスケーラブルなRL実装であるSkywork-OR1を提案します。DeepSeek-R1-Distillモデルシリーズを基盤として、我々のRLアプローチは顕著な性能向上を達成し、32BモデルではAIME24、AIME25、LiveCodeBenchの平均精度を57.8%から72.8%（+15.0%）に、7Bモデルでは43.6%から57.5%（+13.9%）に向上させました。Skywork-OR1-32Bモデルは、AIME24およびAIME25ベンチマークにおいてDeepSeek-R1とQwen3-32Bを上回り、LiveCodeBenchでも同等の結果を達成しました。Skywork-OR1-7BおよびSkywork-OR1-Math-7Bモデルは、同サイズのモデルの中でも競争力のある推論能力を示しています。我々は、トレーニングパイプラインの主要コンポーネントに関する包括的なアブレーションスタディを実施し、その有効性を検証しました。さらに、エントロピー崩壊の現象を徹底的に調査し、エントロピー動態に影響を与える主要な要因を特定し、早期のエントロピー崩壊を緩和することがテスト性能の向上に重要であることを実証しました。コミュニティ研究を支援するため、モデルウェイト、トレーニングコード、およびトレーニングデータセットを完全にオープンソース化しています。

English

The success of DeepSeek-R1 underscores the significant role of reinforcement learning (RL) in enhancing the reasoning capabilities of large language models (LLMs). In this work, we present Skywork-OR1, an effective and scalable RL implementation for long Chain-of-Thought (CoT) models. Building on the DeepSeek-R1-Distill model series, our RL approach achieves notable performance gains, increasing average accuracy across AIME24, AIME25, and LiveCodeBench from 57.8% to 72.8% (+15.0%) for the 32B model and from 43.6% to 57.5% (+13.9%) for the 7B model. Our Skywork-OR1-32B model surpasses both DeepSeek-R1 and Qwen3-32B on the AIME24 and AIME25 benchmarks, while achieving comparable results on LiveCodeBench. The Skywork-OR1-7B and Skywork-OR1-Math-7B models demonstrate competitive reasoning capabilities among models of similar size. We perform comprehensive ablation studies on the core components of our training pipeline to validate their effectiveness. Additionally, we thoroughly investigate the phenomenon of entropy collapse, identify key factors affecting entropy dynamics, and demonstrate that mitigating premature entropy collapse is critical for improved test performance. To support community research, we fully open-source our model weights, training code, and training datasets.