스카이워크 오픈 리소너 1 기술 보고서

Skywork Open Reasoner 1 Technical Report

May 28, 2025

저자: Jujie He, Jiacai Liu, Chris Yuhao Liu, Rui Yan, Chaojie Wang, Peng Cheng, Xiaoyu Zhang, Fuxiang Zhang, Jiacheng Xu, Wei Shen, Siyuan Li, Liang Zeng, Tianwen Wei, Cheng Cheng, Bo An, Yang Liu, Yahui Zhou

cs.AI

초록

DeepSeek-R1의 성공은 대규모 언어 모델(LLM)의 추론 능력을 강화하는 데 강화 학습(RL)이 중요한 역할을 한다는 것을 보여줍니다. 본 연구에서는 긴 Chain-of-Thought(CoT) 모델을 위한 효과적이고 확장 가능한 RL 구현체인 Skywork-OR1을 소개합니다. DeepSeek-R1-Distill 모델 시리즈를 기반으로 한 우리의 RL 접근법은 주목할 만한 성능 향상을 달성했으며, 32B 모델의 경우 AIME24, AIME25, LiveCodeBench에서 평균 정확도를 57.8%에서 72.8%(+15.0%)로, 7B 모델의 경우 43.6%에서 57.5%(+13.9%)로 증가시켰습니다. 우리의 Skywork-OR1-32B 모델은 AIME24와 AIME25 벤치마크에서 DeepSeek-R1과 Qwen3-32B를 모두 능가했으며, LiveCodeBench에서도 비슷한 결과를 달성했습니다. Skywork-OR1-7B와 Skywork-OR1-Math-7B 모델은 유사한 크기의 모델들 사이에서 경쟁력 있는 추론 능력을 보여주었습니다. 우리는 훈련 파이프라인의 핵심 구성 요소에 대한 포괄적인 제거 연구를 수행하여 그 효과성을 검증했습니다. 또한, 엔트로피 붕괴 현상을 철저히 조사하고, 엔트로피 역학에 영향을 미치는 주요 요인을 식별하며, 조기 엔트로피 붕괴를 완화하는 것이 테스트 성능 향상에 중요하다는 것을 입증했습니다. 커뮤니티 연구를 지원하기 위해 우리는 모델 가중치, 훈련 코드, 훈련 데이터셋을 완전히 오픈소스로 공개합니다.

English

The success of DeepSeek-R1 underscores the significant role of reinforcement learning (RL) in enhancing the reasoning capabilities of large language models (LLMs). In this work, we present Skywork-OR1, an effective and scalable RL implementation for long Chain-of-Thought (CoT) models. Building on the DeepSeek-R1-Distill model series, our RL approach achieves notable performance gains, increasing average accuracy across AIME24, AIME25, and LiveCodeBench from 57.8% to 72.8% (+15.0%) for the 32B model and from 43.6% to 57.5% (+13.9%) for the 7B model. Our Skywork-OR1-32B model surpasses both DeepSeek-R1 and Qwen3-32B on the AIME24 and AIME25 benchmarks, while achieving comparable results on LiveCodeBench. The Skywork-OR1-7B and Skywork-OR1-Math-7B models demonstrate competitive reasoning capabilities among models of similar size. We perform comprehensive ablation studies on the core components of our training pipeline to validate their effectiveness. Additionally, we thoroughly investigate the phenomenon of entropy collapse, identify key factors affecting entropy dynamics, and demonstrate that mitigating premature entropy collapse is critical for improved test performance. To support community research, we fully open-source our model weights, training code, and training datasets.