OpenCoder: Il Ricettario Aperto per Modelli Linguistici di Codice di Livello Superiore

OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models

November 7, 2024

Autori: Siming Huang, Tianhao Cheng, Jason Klein Liu, Jiaran Hao, Liuyihan Song, Yang Xu, J. Yang, J. H. Liu, Chenchen Zhang, Linzheng Chai, Ruifeng Yuan, Zhaoxiang Zhang, Jie Fu, Qian Liu, Ge Zhang, Zili Wang, Yuan Qi, Yinghui Xu, Wei Chu

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) per il codice sono diventati indispensabili in vari ambiti, inclusi la generazione di codice, i compiti di ragionamento e i sistemi agentivi. Sebbene i code LLM ad accesso aperto si stiano avvicinando progressivamente ai livelli prestazionali dei modelli proprietari, code LLM di alta qualità adatti per indagini scientifiche rigorose, in particolare quelli con pipeline di elaborazione dati riproducibili e protocolli di addestramento trasparenti, rimangono limitati. La scarsità è dovuta a varie sfide, inclusi vincoli di risorse, considerazioni etiche e i vantaggi competitivi derivanti dal mantenere i modelli avanzati. Per colmare questa lacuna, introduciamo OpenCoder, un code LLM di prim'ordine che non solo raggiunge prestazioni comparabili ai modelli leader, ma funge anche da "ricettario aperto" per la comunità di ricerca. A differenza della maggior parte degli sforzi precedenti, rilasciamo non solo i pesi del modello e il codice di inferenza, ma anche i dati di addestramento riproducibili, la completa pipeline di elaborazione dati, i rigorosi risultati sperimentali di ablazione e i dettagliati protocolli di addestramento per la ricerca scientifica aperta. Attraverso questo rilascio completo, identifichiamo gli ingredienti chiave per costruire un code LLM di prim'ordine: (1) regole euristiche ottimizzate per il codice per la pulizia dei dati e metodi per la deduplicazione dei dati, (2) il richiamo di corpora testuali relativi al codice e (3) dati sintetici di alta qualità sia nelle fasi di fine-tuning per ricottura che supervisionato. Offrendo questo livello di apertura, miriamo ad ampliare l'accesso a tutti gli aspetti di un code LLM di prim'ordine, con OpenCoder che funge sia da modello potente che da fondazione aperta per accelerare la ricerca e consentire progressi riproducibili nell'IA per il codice.

English

Large language models (LLMs) for code have become indispensable in various domains, including code generation, reasoning tasks and agent systems.While open-access code LLMs are increasingly approaching the performance levels of proprietary models, high-quality code LLMs suitable for rigorous scientific investigation, particularly those with reproducible data processing pipelines and transparent training protocols, remain limited. The scarcity is due to various challenges, including resource constraints, ethical considerations, and the competitive advantages of keeping models advanced. To address the gap, we introduce OpenCoder, a top-tier code LLM that not only achieves performance comparable to leading models but also serves as an ``open cookbook'' for the research community. Unlike most prior efforts, we release not only model weights and inference code, but also the reproducible training data, complete data processing pipeline, rigorous experimental ablation results, and detailed training protocols for open scientific research. Through this comprehensive release, we identify the key ingredients for building a top-tier code LLM: (1) code optimized heuristic rules for data cleaning and methods for data deduplication, (2) recall of text corpus related to code and (3) high-quality synthetic data in both annealing and supervised fine-tuning stages. By offering this level of openness, we aim to broaden access to all aspects of a top-tier code LLM, with OpenCoder serving as both a powerful model and an open foundation to accelerate research, and enable reproducible advancements in code AI.