Rapporto Tecnico di Skywork Open Reasoner 1

Skywork Open Reasoner 1 Technical Report

May 28, 2025

Autori: Jujie He, Jiacai Liu, Chris Yuhao Liu, Rui Yan, Chaojie Wang, Peng Cheng, Xiaoyu Zhang, Fuxiang Zhang, Jiacheng Xu, Wei Shen, Siyuan Li, Liang Zeng, Tianwen Wei, Cheng Cheng, Bo An, Yang Liu, Yahui Zhou

cs.AI

Abstract

Il successo di DeepSeek-R1 sottolinea il ruolo significativo dell'apprendimento per rinforzo (RL) nel potenziare le capacità di ragionamento dei grandi modelli linguistici (LLM). In questo lavoro, presentiamo Skywork-OR1, un'implementazione efficace e scalabile di RL per modelli a lunga catena di pensiero (CoT). Basandoci sulla serie di modelli DeepSeek-R1-Distill, il nostro approccio RL raggiunge miglioramenti prestazionali significativi, aumentando l'accuratezza media su AIME24, AIME25 e LiveCodeBench dal 57,8% al 72,8% (+15,0%) per il modello 32B e dal 43,6% al 57,5% (+13,9%) per il modello 7B. Il nostro modello Skywork-OR1-32B supera sia DeepSeek-R1 che Qwen3-32B sui benchmark AIME24 e AIME25, ottenendo risultati comparabili su LiveCodeBench. I modelli Skywork-OR1-7B e Skywork-OR1-Math-7B dimostrano capacità di ragionamento competitive tra i modelli di dimensioni simili. Eseguiamo studi di ablazione completi sui componenti principali della nostra pipeline di addestramento per validarne l'efficacia. Inoltre, indaghiamo approfonditamente il fenomeno del collasso dell'entropia, identifichiamo i fattori chiave che influenzano la dinamica dell'entropia e dimostriamo che mitigare il collasso prematuro dell'entropia è cruciale per migliorare le prestazioni nei test. Per supportare la ricerca della comunità, rendiamo completamente open-source i pesi dei nostri modelli, il codice di addestramento e i dataset di addestramento.

English

The success of DeepSeek-R1 underscores the significant role of reinforcement learning (RL) in enhancing the reasoning capabilities of large language models (LLMs). In this work, we present Skywork-OR1, an effective and scalable RL implementation for long Chain-of-Thought (CoT) models. Building on the DeepSeek-R1-Distill model series, our RL approach achieves notable performance gains, increasing average accuracy across AIME24, AIME25, and LiveCodeBench from 57.8% to 72.8% (+15.0%) for the 32B model and from 43.6% to 57.5% (+13.9%) for the 7B model. Our Skywork-OR1-32B model surpasses both DeepSeek-R1 and Qwen3-32B on the AIME24 and AIME25 benchmarks, while achieving comparable results on LiveCodeBench. The Skywork-OR1-7B and Skywork-OR1-Math-7B models demonstrate competitive reasoning capabilities among models of similar size. We perform comprehensive ablation studies on the core components of our training pipeline to validate their effectiveness. Additionally, we thoroughly investigate the phenomenon of entropy collapse, identify key factors affecting entropy dynamics, and demonstrate that mitigating premature entropy collapse is critical for improved test performance. To support community research, we fully open-source our model weights, training code, and training datasets.