CodeTF : Bibliothèque Transformer tout-en-un pour les modèles de langage de code à la pointe

CodeTF: One-stop Transformer Library for State-of-the-art Code LLM

May 31, 2023

Auteurs: Nghi D. Q. Bui, Hung Le, Yue Wang, Junnan Li, Akhilesh Deepak Gotmare, Steven C. H. Hoi

cs.AI

Résumé

L'intelligence du code joue un rôle clé dans la transformation de l'ingénierie logicielle moderne. Récemment, les modèles basés sur l'apprentissage profond, en particulier les grands modèles de langage (LLMs) fondés sur l'architecture Transformer, ont démontré un potentiel remarquable pour relever ces défis en exploitant des données massives de code open source et les caractéristiques des langages de programmation. Cependant, le développement et le déploiement de tels modèles nécessitent souvent une expertise à la fois en apprentissage automatique et en ingénierie logicielle, ce qui crée une barrière à leur adoption. Dans cet article, nous présentons CodeTF, une bibliothèque open source basée sur Transformer pour les LLMs de code de pointe et l'intelligence du code. Suivant les principes de conception modulaire et de cadre extensible, nous avons conçu CodeTF avec une interface unifiée pour permettre un accès rapide et un développement à travers différents types de modèles, ensembles de données et tâches. Notre bibliothèque prend en charge une collection de modèles LLMs de code pré-entraînés et des benchmarks de code populaires, incluant une interface standardisée pour entraîner et déployer efficacement des LLMs de code, ainsi que des fonctionnalités de données telles que des analyseurs spécifiques aux langages et des fonctions utilitaires pour extraire les attributs du code. Dans cet article, nous décrivons les principes de conception, l'architecture, les modules et composants clés, et nous comparons avec d'autres outils de bibliothèque connexes. Enfin, nous espérons que CodeTF pourra combler le fossé entre l'apprentissage automatique/l'IA générative et l'ingénierie logicielle, offrant une solution open source complète pour les développeurs, chercheurs et praticiens.

English

Code intelligence plays a key role in transforming modern software engineering. Recently, deep learning-based models, especially Transformer-based large language models (LLMs), have demonstrated remarkable potential in tackling these tasks by leveraging massive open-source code data and programming language features. However, the development and deployment of such models often require expertise in both machine learning and software engineering, creating a barrier for the model adoption. In this paper, we present CodeTF, an open-source Transformer-based library for state-of-the-art Code LLMs and code intelligence. Following the principles of modular design and extensible framework, we design CodeTF with a unified interface to enable rapid access and development across different types of models, datasets and tasks. Our library supports a collection of pretrained Code LLM models and popular code benchmarks, including a standardized interface to train and serve code LLMs efficiently, and data features such as language-specific parsers and utility functions for extracting code attributes. In this paper, we describe the design principles, the architecture, key modules and components, and compare with other related library tools. Finally, we hope CodeTF is able to bridge the gap between machine learning/generative AI and software engineering, providing a comprehensive open-source solution for developers, researchers, and practitioners.