CodeTF: Biblioteca Transformer Tudo-em-Um para Code LLM de Última Geração

CodeTF: One-stop Transformer Library for State-of-the-art Code LLM

May 31, 2023

Autores: Nghi D. Q. Bui, Hung Le, Yue Wang, Junnan Li, Akhilesh Deepak Gotmare, Steven C. H. Hoi

cs.AI

Resumo

A inteligência de código desempenha um papel fundamental na transformação da engenharia de software moderna. Recentemente, modelos baseados em aprendizado profundo, especialmente modelos de linguagem grandes (LLMs) baseados em Transformers, demonstraram um potencial notável no enfrentamento dessas tarefas ao aproveitar dados massivos de código aberto e características de linguagens de programação. No entanto, o desenvolvimento e a implantação desses modelos frequentemente exigem expertise tanto em aprendizado de máquina quanto em engenharia de software, criando uma barreira para a adoção dos modelos. Neste artigo, apresentamos o CodeTF, uma biblioteca de código aberto baseada em Transformers para LLMs de código de última geração e inteligência de código. Seguindo os princípios de design modular e estrutura extensível, projetamos o CodeTF com uma interface unificada para permitir acesso rápido e desenvolvimento em diferentes tipos de modelos, conjuntos de dados e tarefas. Nossa biblioteca suporta uma coleção de modelos de LLMs de código pré-treinados e benchmarks de código populares, incluindo uma interface padronizada para treinar e servir LLMs de código de forma eficiente, e recursos de dados como parsers específicos de linguagem e funções utilitárias para extrair atributos de código. Neste artigo, descrevemos os princípios de design, a arquitetura, os módulos e componentes principais, e fazemos uma comparação com outras ferramentas de biblioteca relacionadas. Por fim, esperamos que o CodeTF seja capaz de preencher a lacuna entre aprendizado de máquina/IA generativa e engenharia de software, fornecendo uma solução abrangente de código aberto para desenvolvedores, pesquisadores e profissionais.

English

Code intelligence plays a key role in transforming modern software engineering. Recently, deep learning-based models, especially Transformer-based large language models (LLMs), have demonstrated remarkable potential in tackling these tasks by leveraging massive open-source code data and programming language features. However, the development and deployment of such models often require expertise in both machine learning and software engineering, creating a barrier for the model adoption. In this paper, we present CodeTF, an open-source Transformer-based library for state-of-the-art Code LLMs and code intelligence. Following the principles of modular design and extensible framework, we design CodeTF with a unified interface to enable rapid access and development across different types of models, datasets and tasks. Our library supports a collection of pretrained Code LLM models and popular code benchmarks, including a standardized interface to train and serve code LLMs efficiently, and data features such as language-specific parsers and utility functions for extracting code attributes. In this paper, we describe the design principles, the architecture, key modules and components, and compare with other related library tools. Finally, we hope CodeTF is able to bridge the gap between machine learning/generative AI and software engineering, providing a comprehensive open-source solution for developers, researchers, and practitioners.