OpenCoder: El Libro de Cocina Abierto para Modelos de Lenguaje de Código de Alto Nivel

OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models

November 7, 2024

Autores: Siming Huang, Tianhao Cheng, Jason Klein Liu, Jiaran Hao, Liuyihan Song, Yang Xu, J. Yang, J. H. Liu, Chenchen Zhang, Linzheng Chai, Ruifeng Yuan, Zhaoxiang Zhang, Jie Fu, Qian Liu, Ge Zhang, Zili Wang, Yuan Qi, Yinghui Xu, Wei Chu

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) para código se han vuelto indispensables en diversos dominios, incluyendo la generación de código, tareas de razonamiento y sistemas de agentes. Si bien los LLMs de código de acceso abierto están acercándose cada vez más a los niveles de rendimiento de los modelos propietarios, los LLMs de código de alta calidad adecuados para investigaciones científicas rigurosas, particularmente aquellos con pipelines de procesamiento de datos reproducibles y protocolos de entrenamiento transparentes, siguen siendo limitados. Esta escasez se debe a diversos desafíos, incluyendo limitaciones de recursos, consideraciones éticas y las ventajas competitivas de mantener los modelos avanzados. Para abordar esta brecha, presentamos OpenCoder, un LLM de código de primer nivel que no solo alcanza un rendimiento comparable a los modelos líderes, sino que también sirve como un "libro de cocina abierto" para la comunidad de investigación. A diferencia de la mayoría de los esfuerzos previos, no solo liberamos los pesos del modelo y el código de inferencia, sino también los datos de entrenamiento reproducibles, el pipeline completo de procesamiento de datos, los resultados rigurosos de ablación experimental y los protocolos de entrenamiento detallados para la investigación científica abierta. A través de esta publicación integral, identificamos los ingredientes clave para construir un LLM de código de primer nivel: (1) reglas heurísticas optimizadas para la limpieza de datos y métodos para la deduplicación de datos, (2) recuperación de corpus de texto relacionados con el código y (3) datos sintéticos de alta calidad en las etapas de ajuste fino supervisado y de recocido. Al ofrecer este nivel de apertura, nuestro objetivo es ampliar el acceso a todos los aspectos de un LLM de código de primer nivel, con OpenCoder sirviendo tanto como un modelo potente como una base abierta para acelerar la investigación y permitir avances reproducibles en la IA de código.

English

Large language models (LLMs) for code have become indispensable in various domains, including code generation, reasoning tasks and agent systems.While open-access code LLMs are increasingly approaching the performance levels of proprietary models, high-quality code LLMs suitable for rigorous scientific investigation, particularly those with reproducible data processing pipelines and transparent training protocols, remain limited. The scarcity is due to various challenges, including resource constraints, ethical considerations, and the competitive advantages of keeping models advanced. To address the gap, we introduce OpenCoder, a top-tier code LLM that not only achieves performance comparable to leading models but also serves as an ``open cookbook'' for the research community. Unlike most prior efforts, we release not only model weights and inference code, but also the reproducible training data, complete data processing pipeline, rigorous experimental ablation results, and detailed training protocols for open scientific research. Through this comprehensive release, we identify the key ingredients for building a top-tier code LLM: (1) code optimized heuristic rules for data cleaning and methods for data deduplication, (2) recall of text corpus related to code and (3) high-quality synthetic data in both annealing and supervised fine-tuning stages. By offering this level of openness, we aim to broaden access to all aspects of a top-tier code LLM, with OpenCoder serving as both a powerful model and an open foundation to accelerate research, and enable reproducible advancements in code AI.