Relatório Técnico do Skywork Open Reasoner 1

Skywork Open Reasoner 1 Technical Report

May 28, 2025

Autores: Jujie He, Jiacai Liu, Chris Yuhao Liu, Rui Yan, Chaojie Wang, Peng Cheng, Xiaoyu Zhang, Fuxiang Zhang, Jiacheng Xu, Wei Shen, Siyuan Li, Liang Zeng, Tianwen Wei, Cheng Cheng, Bo An, Yang Liu, Yahui Zhou

cs.AI

Resumo

O sucesso do DeepSeek-R1 destaca o papel significativo do aprendizado por reforço (RL) na melhoria das capacidades de raciocínio de modelos de linguagem de grande escala (LLMs). Neste trabalho, apresentamos o Skywork-OR1, uma implementação eficaz e escalável de RL para modelos de Cadeia de Pensamento (CoT) longa. Baseando-nos na série de modelos DeepSeek-R1-Distill, nossa abordagem de RL alcança ganhos de desempenho notáveis, aumentando a precisão média nos benchmarks AIME24, AIME25 e LiveCodeBench de 57,8% para 72,8% (+15,0%) para o modelo de 32B e de 43,6% para 57,5% (+13,9%) para o modelo de 7B. Nosso modelo Skywork-OR1-32B supera tanto o DeepSeek-R1 quanto o Qwen3-32B nos benchmarks AIME24 e AIME25, enquanto alcança resultados comparáveis no LiveCodeBench. Os modelos Skywork-OR1-7B e Skywork-OR1-Math-7B demonstram capacidades de raciocínio competitivas entre modelos de tamanho similar. Realizamos estudos abrangentes de ablação sobre os componentes principais de nosso pipeline de treinamento para validar sua eficácia. Além disso, investigamos minuciosamente o fenômeno do colapso de entropia, identificamos fatores-chave que afetam a dinâmica da entropia e demonstramos que mitigar o colapso prematuro de entropia é crucial para melhorar o desempenho em testes. Para apoiar a pesquisa da comunidade, disponibilizamos totalmente os pesos dos modelos, o código de treinamento e os conjuntos de dados de treinamento como código aberto.

English

The success of DeepSeek-R1 underscores the significant role of reinforcement learning (RL) in enhancing the reasoning capabilities of large language models (LLMs). In this work, we present Skywork-OR1, an effective and scalable RL implementation for long Chain-of-Thought (CoT) models. Building on the DeepSeek-R1-Distill model series, our RL approach achieves notable performance gains, increasing average accuracy across AIME24, AIME25, and LiveCodeBench from 57.8% to 72.8% (+15.0%) for the 32B model and from 43.6% to 57.5% (+13.9%) for the 7B model. Our Skywork-OR1-32B model surpasses both DeepSeek-R1 and Qwen3-32B on the AIME24 and AIME25 benchmarks, while achieving comparable results on LiveCodeBench. The Skywork-OR1-7B and Skywork-OR1-Math-7B models demonstrate competitive reasoning capabilities among models of similar size. We perform comprehensive ablation studies on the core components of our training pipeline to validate their effectiveness. Additionally, we thoroughly investigate the phenomenon of entropy collapse, identify key factors affecting entropy dynamics, and demonstrate that mitigating premature entropy collapse is critical for improved test performance. To support community research, we fully open-source our model weights, training code, and training datasets.