OpenCoder: Het Open Kookboek voor Topklasse Code Large Language Models

OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models

November 7, 2024

Auteurs: Siming Huang, Tianhao Cheng, Jason Klein Liu, Jiaran Hao, Liuyihan Song, Yang Xu, J. Yang, J. H. Liu, Chenchen Zhang, Linzheng Chai, Ruifeng Yuan, Zhaoxiang Zhang, Jie Fu, Qian Liu, Ge Zhang, Zili Wang, Yuan Qi, Yinghui Xu, Wei Chu

cs.AI

Samenvatting

Grote taalmodellen (LLM's) voor code zijn onmisbaar geworden in diverse domeinen, waaronder codegeneratie, redeneertaken en agentsystemen. Hoewel open-access code-LLM's steeds meer de prestatieniveaus van propriëtaire modellen benaderen, blijven hoogwaardige code-LLM's die geschikt zijn voor rigoureus wetenschappelijk onderzoek, met name modellen met reproduceerbare dataverwerkingspijplijnen en transparante trainingsprotocollen, schaars. Deze schaarste is te wijten aan diverse uitdagingen, waaronder beperkte middelen, ethische overwegingen en het concurrentievoordeel van het geheimhouden van geavanceerde modellen. Om dit gat te dichten, introduceren we OpenCoder, een topniveau code-LLM dat niet alleen prestaties bereikt die vergelijkbaar zijn met toonaangevende modellen, maar ook dient als een "open kookboek" voor de onderzoeksgemeenschap. In tegenstelling tot de meeste eerdere inspanningen, geven we niet alleen modelgewichten en inferentiecode vrij, maar ook de reproduceerbare trainingsdata, de complete dataverwerkingspijplijn, rigoureuze experimentele ablatie-resultaten en gedetailleerde trainingsprotocollen voor open wetenschappelijk onderzoek. Door deze uitgebreide release identificeren we de sleutelingrediënten voor het bouwen van een topniveau code-LLM: (1) code-geoptimaliseerde heuristische regels voor datareiniging en methoden voor datadeduplicatie, (2) het meenemen van aan code gerelateerde tekstcorpora en (3) hoogwaardige synthetische data in zowel de annealing- als supervised fine-tuning-fases. Door dit niveau van openheid te bieden, streven we ernaar de toegang tot alle aspecten van een topniveau code-LLM te verbreden, waarbij OpenCoder dient als zowel een krachtig model als een open fundament om onderzoek te versnellen en reproduceerbare vooruitgang in code-AI mogelijk te maken.

English

Large language models (LLMs) for code have become indispensable in various domains, including code generation, reasoning tasks and agent systems.While open-access code LLMs are increasingly approaching the performance levels of proprietary models, high-quality code LLMs suitable for rigorous scientific investigation, particularly those with reproducible data processing pipelines and transparent training protocols, remain limited. The scarcity is due to various challenges, including resource constraints, ethical considerations, and the competitive advantages of keeping models advanced. To address the gap, we introduce OpenCoder, a top-tier code LLM that not only achieves performance comparable to leading models but also serves as an ``open cookbook'' for the research community. Unlike most prior efforts, we release not only model weights and inference code, but also the reproducible training data, complete data processing pipeline, rigorous experimental ablation results, and detailed training protocols for open scientific research. Through this comprehensive release, we identify the key ingredients for building a top-tier code LLM: (1) code optimized heuristic rules for data cleaning and methods for data deduplication, (2) recall of text corpus related to code and (3) high-quality synthetic data in both annealing and supervised fine-tuning stages. By offering this level of openness, we aim to broaden access to all aspects of a top-tier code LLM, with OpenCoder serving as both a powerful model and an open foundation to accelerate research, and enable reproducible advancements in code AI.