OpenCoder: Das offene Kochbuch für erstklassige Code-Großsprachmodelle

OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models

November 7, 2024

Autoren: Siming Huang, Tianhao Cheng, Jason Klein Liu, Jiaran Hao, Liuyihan Song, Yang Xu, J. Yang, J. H. Liu, Chenchen Zhang, Linzheng Chai, Ruifeng Yuan, Zhaoxiang Zhang, Jie Fu, Qian Liu, Ge Zhang, Zili Wang, Yuan Qi, Yinghui Xu, Wei Chu

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) für Code sind in verschiedenen Bereichen unverzichtbar geworden, darunter Code-Generierung, Reasoning-Aufgaben und Agentensysteme. Während Open-Access-Code-LLMs zunehmend die Leistungsniveaus proprietärer Modelle erreichen, bleiben hochwertige Code-LLMs, die für rigorose wissenschaftliche Untersuchungen geeignet sind – insbesondere solche mit reproduzierbaren Datenverarbeitungspipelines und transparenten Trainingsprotokollen – begrenzt. Diese Knappheit ist auf verschiedene Herausforderungen zurückzuführen, darunter Ressourcenbeschränkungen, ethische Überlegungen und die Wettbewerbsvorteile, die mit der Weiterentwicklung von Modellen verbunden sind. Um diese Lücke zu schließen, stellen wir OpenCoder vor, ein erstklassiges Code-LLM, das nicht nur eine mit führenden Modellen vergleichbare Leistung erzielt, sondern auch als „offenes Kochbuch“ für die Forschungsgemeinschaft dient. Im Gegensatz zu den meisten früheren Bemühungen veröffentlichen wir nicht nur Modellgewichte und Inferenz-Code, sondern auch die reproduzierbaren Trainingsdaten, die vollständige Datenverarbeitungspipeline, rigorose experimentelle Ablationsergebnisse und detaillierte Trainingsprotokolle für offene wissenschaftliche Forschung. Durch diese umfassende Veröffentlichung identifizieren wir die Schlüsselkomponenten für den Aufbau eines erstklassigen Code-LLMs: (1) Code-optimierte heuristische Regeln für die Datenbereinigung und Methoden zur Datenbereinigung, (2) die Einbeziehung von Textkorpora, die mit Code in Verbindung stehen, und (3) hochwertige synthetische Daten in den Phasen des Annealing und des überwachten Feinabstimmens. Durch dieses Maß an Offenheit möchten wir den Zugang zu allen Aspekten eines erstklassigen Code-LLMs erweitern, wobei OpenCoder sowohl als leistungsstarkes Modell als auch als offene Grundlage dient, um die Forschung zu beschleunigen und reproduzierbare Fortschritte in der Code-KI zu ermöglichen.

English

Large language models (LLMs) for code have become indispensable in various domains, including code generation, reasoning tasks and agent systems.While open-access code LLMs are increasingly approaching the performance levels of proprietary models, high-quality code LLMs suitable for rigorous scientific investigation, particularly those with reproducible data processing pipelines and transparent training protocols, remain limited. The scarcity is due to various challenges, including resource constraints, ethical considerations, and the competitive advantages of keeping models advanced. To address the gap, we introduce OpenCoder, a top-tier code LLM that not only achieves performance comparable to leading models but also serves as an ``open cookbook'' for the research community. Unlike most prior efforts, we release not only model weights and inference code, but also the reproducible training data, complete data processing pipeline, rigorous experimental ablation results, and detailed training protocols for open scientific research. Through this comprehensive release, we identify the key ingredients for building a top-tier code LLM: (1) code optimized heuristic rules for data cleaning and methods for data deduplication, (2) recall of text corpus related to code and (3) high-quality synthetic data in both annealing and supervised fine-tuning stages. By offering this level of openness, we aim to broaden access to all aspects of a top-tier code LLM, with OpenCoder serving as both a powerful model and an open foundation to accelerate research, and enable reproducible advancements in code AI.