CodeTF: Libreria Transformer All-in-One per Modelli Linguistici di Codice all'Avanguardia

CodeTF: One-stop Transformer Library for State-of-the-art Code LLM

May 31, 2023

Autori: Nghi D. Q. Bui, Hung Le, Yue Wang, Junnan Li, Akhilesh Deepak Gotmare, Steven C. H. Hoi

cs.AI

Abstract

L'intelligenza del codice svolge un ruolo chiave nella trasformazione dell'ingegneria del software moderna. Recentemente, modelli basati sul deep learning, in particolare i grandi modelli linguistici (LLM) basati su Transformer, hanno dimostrato un potenziale notevole nell'affrontare questi compiti sfruttando enormi quantità di dati di codice open-source e le caratteristiche dei linguaggi di programmazione. Tuttavia, lo sviluppo e il deployment di tali modelli richiedono spesso competenze sia nel machine learning che nell'ingegneria del software, creando una barriera all'adozione dei modelli. In questo articolo, presentiamo CodeTF, una libreria open-source basata su Transformer per LLM di codice all'avanguardia e per l'intelligenza del codice. Seguendo i principi di design modulare e framework estensibile, abbiamo progettato CodeTF con un'interfaccia unificata per consentire un accesso e uno sviluppo rapidi su diversi tipi di modelli, dataset e task. La nostra libreria supporta una raccolta di modelli Code LLM preaddestrati e benchmark di codice popolari, inclusa un'interfaccia standardizzata per addestrare e servire in modo efficiente i Code LLM, nonché funzionalità dati come parser specifici per linguaggio e funzioni di utilità per estrarre attributi del codice. In questo articolo, descriviamo i principi di design, l'architettura, i moduli e i componenti chiave, e confrontiamo CodeTF con altri strumenti di libreria correlati. Infine, speriamo che CodeTF possa colmare il divario tra machine learning/intelligenza artificiale generativa e ingegneria del software, fornendo una soluzione open-source completa per sviluppatori, ricercatori e professionisti.

English

Code intelligence plays a key role in transforming modern software engineering. Recently, deep learning-based models, especially Transformer-based large language models (LLMs), have demonstrated remarkable potential in tackling these tasks by leveraging massive open-source code data and programming language features. However, the development and deployment of such models often require expertise in both machine learning and software engineering, creating a barrier for the model adoption. In this paper, we present CodeTF, an open-source Transformer-based library for state-of-the-art Code LLMs and code intelligence. Following the principles of modular design and extensible framework, we design CodeTF with a unified interface to enable rapid access and development across different types of models, datasets and tasks. Our library supports a collection of pretrained Code LLM models and popular code benchmarks, including a standardized interface to train and serve code LLMs efficiently, and data features such as language-specific parsers and utility functions for extracting code attributes. In this paper, we describe the design principles, the architecture, key modules and components, and compare with other related library tools. Finally, we hope CodeTF is able to bridge the gap between machine learning/generative AI and software engineering, providing a comprehensive open-source solution for developers, researchers, and practitioners.