OpenCodeReasoning: Vooruitgang in Datadestillatie voor Competitief Programmeren

OpenCodeReasoning: Advancing Data Distillation for Competitive Coding

April 2, 2025

Auteurs: Wasi Uddin Ahmad, Sean Narenthiran, Somshubra Majumdar, Aleksander Ficek, Siddhartha Jain, Jocelyn Huang, Vahid Noroozi, Boris Ginsburg

cs.AI

Samenvatting

Sinds de opkomst van redeneringsgebaseerde grote taalmodellen, hebben velen groot succes geboekt door redeneervaardigheden te destilleren in studentmodellen. Dergelijke technieken hebben de kloof tussen redenering en standaard LLM's aanzienlijk verkleind bij coderings taken. Desondanks blijft veel van de vooruitgang op het gebied van het destilleren van redeneermodellen achter gesloten deuren van propriëtaire datasets of ontbreekt het aan details over datacuratie, filtering en daaropvolgende training. Om dit aan te pakken, hebben we een superieure supervised fine-tuning (SFT) dataset geconstrueerd die we gebruiken om state-of-the-art coderingsvaardigheden te bereiken in modellen van verschillende groottes. Onze gedestilleerde modellen gebruiken alleen SFT om 61,8% te behalen op LiveCodeBench en 24,6% op CodeContests, wat alternatieven die getraind zijn met reinforcement learning overtreft. Vervolgens voeren we een analyse uit van de databronnen die gebruikt zijn om onze dataset te construeren, de impact van code-uitvoeringsfiltering, en het belang van instructie-/oplossingsdiversiteit. We observeren dat uitvoeringsfiltering een negatief effect had op de benchmarknauwkeurigheid, wat ons ertoe bracht om instructiediversiteit boven oplossingscorrectheid te prioriteren. Tot slot analyseren we ook de token-efficiëntie en de redeneerpatronen die door deze modellen worden gebruikt. We zullen deze datasets en gedestilleerde modellen opensource aan de gemeenschap.

English

Since the advent of reasoning-based large language models, many have found great success from distilling reasoning capabilities into student models. Such techniques have significantly bridged the gap between reasoning and standard LLMs on coding tasks. Despite this, much of the progress on distilling reasoning models remains locked behind proprietary datasets or lacks details on data curation, filtering and subsequent training. To address this, we construct a superior supervised fine-tuning (SFT) dataset that we use to achieve state-of-the-art coding capability results in models of various sizes. Our distilled models use only SFT to achieve 61.8% on LiveCodeBench and 24.6% on CodeContests, surpassing alternatives trained with reinforcement learning. We then perform analysis on the data sources used to construct our dataset, the impact of code execution filtering, and the importance of instruction/solution diversity. We observe that execution filtering negatively affected benchmark accuracy, leading us to prioritize instruction diversity over solution correctness. Finally, we also analyze the token efficiency and reasoning patterns utilized by these models. We will open-source these datasets and distilled models to the community.