OpenCoder: Открытая поваренная книга для высококачественных языковых моделей кода

OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models

November 7, 2024

Авторы: Siming Huang, Tianhao Cheng, Jason Klein Liu, Jiaran Hao, Liuyihan Song, Yang Xu, J. Yang, J. H. Liu, Chenchen Zhang, Linzheng Chai, Ruifeng Yuan, Zhaoxiang Zhang, Jie Fu, Qian Liu, Ge Zhang, Zili Wang, Yuan Qi, Yinghui Xu, Wei Chu

cs.AI

Аннотация

Крупные языковые модели (LLM) для работы с кодом стали незаменимыми в различных областях, включая генерацию кода, задачи логического рассуждения и системы агентов. Хотя открытые LLM для кода всё чаще приближаются по производительности к проприетарным моделям, высококачественные LLM для кода, подходящие для строгих научных исследований, особенно те, которые имеют воспроизводимые конвейеры обработки данных и прозрачные протоколы обучения, остаются ограниченными. Этот дефицит обусловлен различными вызовами, включая ограниченность ресурсов, этические соображения и конкурентные преимущества сохранения передовых моделей. Чтобы устранить этот пробел, мы представляем OpenCoder — высококлассную LLM для кода, которая не только достигает производительности, сопоставимой с ведущими моделями, но и служит «открытой кулинарной книгой» для научного сообщества. В отличие от большинства предыдущих усилий, мы публикуем не только веса модели и код для вывода, но и воспроизводимые данные для обучения, полный конвейер обработки данных, строгие результаты экспериментального абляционного анализа и детальные протоколы обучения для открытых научных исследований. Благодаря этой всесторонней публикации мы определяем ключевые компоненты для создания высококлассной LLM для кода: (1) эвристические правила, оптимизированные для очистки данных, и методы дедупликации данных, (2) извлечение текстового корпуса, связанного с кодом, и (3) высококачественные синтетические данные на этапах как отжига, так и контролируемой тонкой настройки. Предлагая такой уровень открытости, мы стремимся расширить доступ ко всем аспектам высококлассной LLM для кода, где OpenCoder служит как мощной моделью, так и открытой основой для ускорения исследований и обеспечения воспроизводимых достижений в области искусственного интеллекта для работы с кодом.

English

Large language models (LLMs) for code have become indispensable in various domains, including code generation, reasoning tasks and agent systems.While open-access code LLMs are increasingly approaching the performance levels of proprietary models, high-quality code LLMs suitable for rigorous scientific investigation, particularly those with reproducible data processing pipelines and transparent training protocols, remain limited. The scarcity is due to various challenges, including resource constraints, ethical considerations, and the competitive advantages of keeping models advanced. To address the gap, we introduce OpenCoder, a top-tier code LLM that not only achieves performance comparable to leading models but also serves as an ``open cookbook'' for the research community. Unlike most prior efforts, we release not only model weights and inference code, but also the reproducible training data, complete data processing pipeline, rigorous experimental ablation results, and detailed training protocols for open scientific research. Through this comprehensive release, we identify the key ingredients for building a top-tier code LLM: (1) code optimized heuristic rules for data cleaning and methods for data deduplication, (2) recall of text corpus related to code and (3) high-quality synthetic data in both annealing and supervised fine-tuning stages. By offering this level of openness, we aim to broaden access to all aspects of a top-tier code LLM, with OpenCoder serving as both a powerful model and an open foundation to accelerate research, and enable reproducible advancements in code AI.