OpenCodeReasoning : Faire progresser la distillation de données pour le codage compétitif

OpenCodeReasoning: Advancing Data Distillation for Competitive Coding

April 2, 2025

Auteurs: Wasi Uddin Ahmad, Sean Narenthiran, Somshubra Majumdar, Aleksander Ficek, Siddhartha Jain, Jocelyn Huang, Vahid Noroozi, Boris Ginsburg

cs.AI

Résumé

Depuis l'avènement des grands modèles de langage basés sur le raisonnement, de nombreux succès ont été obtenus en distillant les capacités de raisonnement dans des modèles étudiants. Ces techniques ont considérablement réduit l'écart entre les modèles de raisonnement et les grands modèles de langage standard pour les tâches de codage. Malgré cela, une grande partie des progrès en matière de distillation des modèles de raisonnement reste enfermée dans des ensembles de données propriétaires ou manque de détails sur la curation des données, le filtrage et l'entraînement subséquent. Pour remédier à cela, nous avons construit un ensemble de données de fine-tuning supervisé (SFT) de haute qualité, que nous utilisons pour atteindre des résultats de pointe en matière de capacités de codage pour des modèles de différentes tailles. Nos modèles distillés utilisent uniquement le SFT pour atteindre 61,8 % sur LiveCodeBench et 24,6 % sur CodeContests, surpassant les alternatives entraînées avec l'apprentissage par renforcement. Nous analysons ensuite les sources de données utilisées pour construire notre ensemble de données, l'impact du filtrage par exécution de code, et l'importance de la diversité des instructions/solutions. Nous observons que le filtrage par exécution a eu un effet négatif sur la précision des benchmarks, ce qui nous a amenés à privilégier la diversité des instructions plutôt que la correction des solutions. Enfin, nous analysons également l'efficacité des tokens et les schémas de raisonnement utilisés par ces modèles. Nous mettrons ces ensembles de données et modèles distillés à disposition de la communauté en open-source.

English

Since the advent of reasoning-based large language models, many have found great success from distilling reasoning capabilities into student models. Such techniques have significantly bridged the gap between reasoning and standard LLMs on coding tasks. Despite this, much of the progress on distilling reasoning models remains locked behind proprietary datasets or lacks details on data curation, filtering and subsequent training. To address this, we construct a superior supervised fine-tuning (SFT) dataset that we use to achieve state-of-the-art coding capability results in models of various sizes. Our distilled models use only SFT to achieve 61.8% on LiveCodeBench and 24.6% on CodeContests, surpassing alternatives trained with reinforcement learning. We then perform analysis on the data sources used to construct our dataset, the impact of code execution filtering, and the importance of instruction/solution diversity. We observe that execution filtering negatively affected benchmark accuracy, leading us to prioritize instruction diversity over solution correctness. Finally, we also analyze the token efficiency and reasoning patterns utilized by these models. We will open-source these datasets and distilled models to the community.