EpiCoder: Omvattende Diversiteit en Complexiteit in Codegeneratie

EpiCoder: Encompassing Diversity and Complexity in Code Generation

January 8, 2025

Auteurs: Yaoxiang Wang, Haoling Li, Xin Zhang, Jie Wu, Xiao Liu, Wenxiang Hu, Zhongxin Guo, Yangyu Huang, Ying Xin, Yujiu Yang, Jinsong Su, Qi Chen, Scarlett Li

cs.AI

Samenvatting

Effectieve instructieafstemming is onmisbaar voor het optimaliseren van code LLM's, het afstemmen van het modelgedrag op de verwachtingen van de gebruiker en het verbeteren van de modelprestaties in real-world toepassingen. Echter, de meeste bestaande methoden richten zich op codefragmenten, die beperkt zijn tot specifieke functionaliteiten en rigide structuren, waardoor de complexiteit en diversiteit van de gesynthetiseerde data beperkt worden. Om deze beperkingen aan te pakken, introduceren we een nieuw feature tree-gebaseerd synthese framework geïnspireerd door Abstract Syntax Trees (AST). In tegenstelling tot AST, dat de syntactische structuur van code vastlegt, modelleert ons framework semantische relaties tussen code-elementen, waardoor de generatie van meer genuanceerde en diverse data mogelijk wordt. De feature tree wordt geconstrueerd uit ruwe data en iteratief verfijnd om de hoeveelheid en diversiteit van de geëxtraheerde features te vergroten. Dit proces maakt de identificatie van complexere patronen en relaties binnen de code mogelijk. Door subtrees te samplen met gecontroleerde diepte en breedte, maakt ons framework precieze aanpassingen aan de complexiteit van de gegenereerde code mogelijk, wat een breed scala aan taken ondersteunt, van eenvoudige functie-level operaties tot ingewikkelde multi-file scenario's. We hebben veelgebruikte basismodellen fijngestemd om de EpiCoder-serie te creëren, waarbij we state-of-the-art prestaties behaalden op zowel functie- als bestandsniveau over meerdere benchmarks. Opmerkelijk is dat empirisch bewijs aangeeft dat onze benadering aanzienlijk potentieel toont in het synthetiseren van zeer complexe repository-level code data. Verder onderzoek verheldert de voordelen van deze benadering door datacomplexiteit en diversiteit grondig te beoordelen aan de hand van software engineering principes en de LLM-als-rechter methode.

English

Effective instruction tuning is indispensable for optimizing code LLMs, aligning model behavior with user expectations and enhancing model performance in real-world applications. However, most existing methods focus on code snippets, which are limited to specific functionalities and rigid structures, restricting the complexity and diversity of the synthesized data. To address these limitations, we introduce a novel feature tree-based synthesis framework inspired by Abstract Syntax Trees (AST). Unlike AST, which captures syntactic structure of code, our framework models semantic relationships between code elements, enabling the generation of more nuanced and diverse data. The feature tree is constructed from raw data and refined iteratively to increase the quantity and diversity of the extracted features. This process enables the identification of more complex patterns and relationships within the code. By sampling subtrees with controlled depth and breadth, our framework allows precise adjustments to the complexity of the generated code, supporting a wide range of tasks from simple function-level operations to intricate multi-file scenarios. We fine-tuned widely-used base models to create the EpiCoder series, achieving state-of-the-art performance at both the function and file levels across multiple benchmarks. Notably, empirical evidence indicates that our approach shows significant potential in synthesizing highly complex repository-level code data. Further analysis elucidates the merits of this approach by rigorously assessing data complexity and diversity through software engineering principles and LLM-as-a-judge method.