CodeTF: Alles-in-één Transformer Bibliotheek voor State-of-the-art Code LLM

CodeTF: One-stop Transformer Library for State-of-the-art Code LLM

May 31, 2023

Auteurs: Nghi D. Q. Bui, Hung Le, Yue Wang, Junnan Li, Akhilesh Deepak Gotmare, Steven C. H. Hoi

cs.AI

Samenvatting

Code intelligence speelt een cruciale rol in de transformatie van moderne software-engineering. Recentelijk hebben deep learning-modellen, met name Transformer-gebaseerde grote taalmodellen (LLM's), opmerkelijke potentie getoond bij het aanpakken van deze taken door gebruik te maken van enorme hoeveelheden open-source coderingsgegevens en programmeertaalfuncties. De ontwikkeling en implementatie van dergelijke modellen vereisen echter vaak expertise in zowel machine learning als software-engineering, wat een barrière vormt voor de adoptie van deze modellen. In dit artikel presenteren we CodeTF, een open-source Transformer-gebaseerde bibliotheek voor state-of-the-art Code LLM's en code intelligence. Volgens de principes van modulair ontwerp en een uitbreidbaar framework hebben we CodeTF ontworpen met een uniforme interface om snelle toegang en ontwikkeling mogelijk te maken voor verschillende soorten modellen, datasets en taken. Onze bibliotheek ondersteunt een verzameling vooraf getrainde Code LLM-modellen en populaire code benchmarks, inclusief een gestandaardiseerde interface om Code LLM's efficiënt te trainen en te gebruiken, en gegevensfuncties zoals taal-specifieke parsers en hulpfuncties voor het extraheren van code-attributen. In dit artikel beschrijven we de ontwerpprincipes, de architectuur, belangrijke modules en componenten, en vergelijken we deze met andere gerelateerde bibliotheektools. Tot slot hopen we dat CodeTF de kloof tussen machine learning/generatieve AI en software-engineering kan overbruggen, en een uitgebreide open-source oplossing biedt voor ontwikkelaars, onderzoekers en praktijkmensen.

English

Code intelligence plays a key role in transforming modern software engineering. Recently, deep learning-based models, especially Transformer-based large language models (LLMs), have demonstrated remarkable potential in tackling these tasks by leveraging massive open-source code data and programming language features. However, the development and deployment of such models often require expertise in both machine learning and software engineering, creating a barrier for the model adoption. In this paper, we present CodeTF, an open-source Transformer-based library for state-of-the-art Code LLMs and code intelligence. Following the principles of modular design and extensible framework, we design CodeTF with a unified interface to enable rapid access and development across different types of models, datasets and tasks. Our library supports a collection of pretrained Code LLM models and popular code benchmarks, including a standardized interface to train and serve code LLMs efficiently, and data features such as language-specific parsers and utility functions for extracting code attributes. In this paper, we describe the design principles, the architecture, key modules and components, and compare with other related library tools. Finally, we hope CodeTF is able to bridge the gap between machine learning/generative AI and software engineering, providing a comprehensive open-source solution for developers, researchers, and practitioners.