OpenCodeReasoning: Развитие методов дистилляции данных для соревновательного программирования

OpenCodeReasoning: Advancing Data Distillation for Competitive Coding

April 2, 2025

Авторы: Wasi Uddin Ahmad, Sean Narenthiran, Somshubra Majumdar, Aleksander Ficek, Siddhartha Jain, Jocelyn Huang, Vahid Noroozi, Boris Ginsburg

cs.AI

Аннотация

С момента появления крупных языковых моделей, основанных на рассуждениях, многие добились значительных успехов в передаче способностей к рассуждению в модели-студенты. Такие методы существенно сократили разрыв между моделями, способными к рассуждениям, и стандартными языковыми моделями в задачах, связанных с программированием. Однако большая часть прогресса в области дистилляции моделей с рассуждениями остается недоступной из-за использования проприетарных наборов данных или отсутствия подробностей о процессе сбора, фильтрации и последующего обучения данных. Чтобы решить эту проблему, мы создали высококачественный набор данных для контролируемой тонкой настройки (SFT), который позволил нам достичь наилучших результатов в задачах программирования для моделей различных размеров. Наши дистиллированные модели, использующие только SFT, достигают 61,8% на LiveCodeBench и 24,6% на CodeContests, превосходя альтернативы, обученные с использованием обучения с подкреплением. Мы также проводим анализ источников данных, использованных для создания нашего набора, влияния фильтрации на основе выполнения кода и важности разнообразия инструкций и решений. Мы обнаружили, что фильтрация на основе выполнения кода негативно сказалась на точности на тестовых данных, что привело нас к приоритету разнообразия инструкций над корректностью решений. Наконец, мы также анализируем эффективность использования токенов и паттерны рассуждений, используемые этими моделями. Мы планируем открыть исходные коды этих наборов данных и дистиллированных моделей для сообщества.

English

Since the advent of reasoning-based large language models, many have found great success from distilling reasoning capabilities into student models. Such techniques have significantly bridged the gap between reasoning and standard LLMs on coding tasks. Despite this, much of the progress on distilling reasoning models remains locked behind proprietary datasets or lacks details on data curation, filtering and subsequent training. To address this, we construct a superior supervised fine-tuning (SFT) dataset that we use to achieve state-of-the-art coding capability results in models of various sizes. Our distilled models use only SFT to achieve 61.8% on LiveCodeBench and 24.6% on CodeContests, surpassing alternatives trained with reinforcement learning. We then perform analysis on the data sources used to construct our dataset, the impact of code execution filtering, and the importance of instruction/solution diversity. We observe that execution filtering negatively affected benchmark accuracy, leading us to prioritize instruction diversity over solution correctness. Finally, we also analyze the token efficiency and reasoning patterns utilized by these models. We will open-source these datasets and distilled models to the community.