OpenCodeReasoning：競技プログラミングのためのデータ蒸留技術の進展

OpenCodeReasoning: Advancing Data Distillation for Competitive Coding

April 2, 2025

著者: Wasi Uddin Ahmad, Sean Narenthiran, Somshubra Majumdar, Aleksander Ficek, Siddhartha Jain, Jocelyn Huang, Vahid Noroozi, Boris Ginsburg

cs.AI

要旨

推論ベースの大規模言語モデルの登場以来、多くの研究者が推論能力を学生モデルに蒸留することに大きな成功を収めてきました。このような技術は、コーディングタスクにおける推論と標準的なLLMの間のギャップを大幅に埋めてきました。しかし、推論モデルの蒸留に関する進展の多くは、独自のデータセットに閉ざされているか、データのキュレーション、フィルタリング、およびその後のトレーニングに関する詳細が欠けています。この問題に対処するため、我々は優れた教師ありファインチューニング（SFT）データセットを構築し、さまざまなサイズのモデルで最先端のコーディング能力を達成しました。我々の蒸留モデルは、SFTのみを使用してLiveCodeBenchで61.8%、CodeContestsで24.6%を達成し、強化学習でトレーニングされた代替モデルを上回りました。次に、データセット構築に使用されたデータソース、コード実行フィルタリングの影響、および指示/ソリューションの多様性の重要性について分析を行いました。実行フィルタリングがベンチマーク精度に悪影響を及ぼすことを観察し、ソリューションの正確性よりも指示の多様性を優先することを決定しました。最後に、これらのモデルが使用するトークン効率と推論パターンについても分析しました。我々はこれらのデータセットと蒸留モデルをコミュニティにオープンソースとして公開します。

English

Since the advent of reasoning-based large language models, many have found great success from distilling reasoning capabilities into student models. Such techniques have significantly bridged the gap between reasoning and standard LLMs on coding tasks. Despite this, much of the progress on distilling reasoning models remains locked behind proprietary datasets or lacks details on data curation, filtering and subsequent training. To address this, we construct a superior supervised fine-tuning (SFT) dataset that we use to achieve state-of-the-art coding capability results in models of various sizes. Our distilled models use only SFT to achieve 61.8% on LiveCodeBench and 24.6% on CodeContests, surpassing alternatives trained with reinforcement learning. We then perform analysis on the data sources used to construct our dataset, the impact of code execution filtering, and the importance of instruction/solution diversity. We observe that execution filtering negatively affected benchmark accuracy, leading us to prioritize instruction diversity over solution correctness. Finally, we also analyze the token efficiency and reasoning patterns utilized by these models. We will open-source these datasets and distilled models to the community.