CodeTF: 최신 코드 LLM을 위한 통합 트랜스포머 라이브러리

CodeTF: One-stop Transformer Library for State-of-the-art Code LLM

May 31, 2023

저자: Nghi D. Q. Bui, Hung Le, Yue Wang, Junnan Li, Akhilesh Deepak Gotmare, Steven C. H. Hoi

cs.AI

초록

코드 인텔리전스는 현대 소프트웨어 공학을 혁신하는 데 핵심적인 역할을 합니다. 최근 딥러닝 기반 모델, 특히 트랜스포머 기반의 대규모 언어 모델(LLMs)은 방대한 오픈소스 코드 데이터와 프로그래밍 언어의 특성을 활용하여 이러한 작업을 해결하는 데 있어 놀라운 잠재력을 보여주었습니다. 그러나 이러한 모델의 개발과 배포는 머신러닝과 소프트웨어 공학 모두에 대한 전문 지식을 요구하며, 이는 모델 채택에 있어 장벽으로 작용합니다. 본 논문에서는 최신 코드 LLMs와 코드 인텔리전스를 위한 오픈소스 트랜스포머 기반 라이브러리인 CodeTF를 소개합니다. 모듈식 설계와 확장 가능한 프레임워크 원칙에 따라, CodeTF는 다양한 유형의 모델, 데이터셋 및 작업에 걸쳐 빠른 접근과 개발을 가능하게 하는 통합 인터페이스로 설계되었습니다. 우리의 라이브러리는 사전 학습된 코드 LLM 모델과 인기 있는 코드 벤치마크를 지원하며, 코드 LLMs를 효율적으로 학습하고 서비스하기 위한 표준화된 인터페이스와 언어별 파서 및 코드 속성 추출을 위한 유틸리티 함수와 같은 데이터 기능을 포함합니다. 본 논문에서는 설계 원칙, 아키텍처, 주요 모듈 및 구성 요소를 설명하고, 다른 관련 라이브러리 도구와 비교합니다. 마지막으로, CodeTF가 머신러닝/생성형 AI와 소프트웨어 공학 간의 격차를 해소하고, 개발자, 연구자 및 실무자들을 위한 포괄적인 오픈소스 솔루션을 제공할 수 있기를 바랍니다.

English

Code intelligence plays a key role in transforming modern software engineering. Recently, deep learning-based models, especially Transformer-based large language models (LLMs), have demonstrated remarkable potential in tackling these tasks by leveraging massive open-source code data and programming language features. However, the development and deployment of such models often require expertise in both machine learning and software engineering, creating a barrier for the model adoption. In this paper, we present CodeTF, an open-source Transformer-based library for state-of-the-art Code LLMs and code intelligence. Following the principles of modular design and extensible framework, we design CodeTF with a unified interface to enable rapid access and development across different types of models, datasets and tasks. Our library supports a collection of pretrained Code LLM models and popular code benchmarks, including a standardized interface to train and serve code LLMs efficiently, and data features such as language-specific parsers and utility functions for extracting code attributes. In this paper, we describe the design principles, the architecture, key modules and components, and compare with other related library tools. Finally, we hope CodeTF is able to bridge the gap between machine learning/generative AI and software engineering, providing a comprehensive open-source solution for developers, researchers, and practitioners.