OpenCodeReasoning: Fortschritte in der Datenverdichtung für den Wettbewerbsprogrammierbereich

OpenCodeReasoning: Advancing Data Distillation for Competitive Coding

April 2, 2025

Autoren: Wasi Uddin Ahmad, Sean Narenthiran, Somshubra Majumdar, Aleksander Ficek, Siddhartha Jain, Jocelyn Huang, Vahid Noroozi, Boris Ginsburg

cs.AI

Zusammenfassung

Seit dem Aufkommen von auf logischem Denken basierenden großen Sprachmodellen haben viele große Erfolge damit erzielt, die Fähigkeiten zum logischen Denken in Schülermodelle zu destillieren. Solche Techniken haben die Lücke zwischen logischem Denken und Standard-LLMs bei Codierungsaufgaben erheblich verringert. Trotzdem bleibt ein Großteil der Fortschritte beim Destillieren von Denkmodellen hinter proprietären Datensätzen verborgen oder es fehlen Details zur Datenkuratierung, Filterung und anschließenden Schulung. Um dies zu beheben, erstellen wir einen überlegenen, supervidierten Feinabstimmungsdatensatz (SFT), mit dem wir state-of-the-art Ergebnisse in der Codierungsfähigkeit bei Modellen verschiedener Größen erzielen. Unsere destillierten Modelle verwenden ausschließlich SFT, um 61,8 % auf LiveCodeBench und 24,6 % auf CodeContests zu erreichen, womit sie Alternativen übertreffen, die mit Verstärkungslernen trainiert wurden. Anschließend analysieren wir die Datenquellen, die zur Erstellung unseres Datensatzes verwendet wurden, die Auswirkungen der Code-Ausführungsfilterung und die Bedeutung der Anweisungs-/Lösungsvielfalt. Wir stellen fest, dass die Ausführungsfilterung die Benchmark-Genauigkeit negativ beeinflusst hat, was uns dazu veranlasst, die Vielfalt der Anweisungen über die Korrektheit der Lösungen zu priorisieren. Schließlich analysieren wir auch die Token-Effizienz und die Denkmuster, die von diesen Modellen genutzt werden. Wir werden diese Datensätze und destillierten Modelle der Community als Open Source zur Verfügung stellen.

English

Since the advent of reasoning-based large language models, many have found great success from distilling reasoning capabilities into student models. Such techniques have significantly bridged the gap between reasoning and standard LLMs on coding tasks. Despite this, much of the progress on distilling reasoning models remains locked behind proprietary datasets or lacks details on data curation, filtering and subsequent training. To address this, we construct a superior supervised fine-tuning (SFT) dataset that we use to achieve state-of-the-art coding capability results in models of various sizes. Our distilled models use only SFT to achieve 61.8% on LiveCodeBench and 24.6% on CodeContests, surpassing alternatives trained with reinforcement learning. We then perform analysis on the data sources used to construct our dataset, the impact of code execution filtering, and the importance of instruction/solution diversity. We observe that execution filtering negatively affected benchmark accuracy, leading us to prioritize instruction diversity over solution correctness. Finally, we also analyze the token efficiency and reasoning patterns utilized by these models. We will open-source these datasets and distilled models to the community.