CodeTF：最先端コードLLMのためのワンストップTransformerライブラリ

CodeTF: One-stop Transformer Library for State-of-the-art Code LLM

May 31, 2023

著者: Nghi D. Q. Bui, Hung Le, Yue Wang, Junnan Li, Akhilesh Deepak Gotmare, Steven C. H. Hoi

cs.AI

要旨

コードインテリジェンスは、現代のソフトウェア工学を変革する上で重要な役割を果たしています。最近では、特にTransformerベースの大規模言語モデル（LLMs）を活用した深層学習モデルが、大規模なオープンソースコードデータとプログラミング言語の特徴を利用することで、これらのタスクに取り組む際に顕著な可能性を示しています。しかし、そのようなモデルの開発と展開には、機械学習とソフトウェア工学の両方の専門知識が必要であり、モデルの採用に障壁を生んでいます。本論文では、最先端のコードLLMsとコードインテリジェンスのためのオープンソースのTransformerベースライブラリであるCodeTFを紹介します。モジュール設計と拡張可能なフレームワークの原則に従い、CodeTFは統一されたインターフェースを備えており、さまざまなタイプのモデル、データセット、タスクにわたる迅速なアクセスと開発を可能にします。当ライブラリは、事前学習済みのコードLLMモデルと人気のあるコードベンチマークのコレクションをサポートしており、コードLLMsを効率的にトレーニングおよび提供するための標準化されたインターフェースや、言語固有のパーサーやコード属性を抽出するためのユーティリティ関数などのデータ機能を含んでいます。本論文では、設計原則、アーキテクチャ、主要なモジュールとコンポーネントについて説明し、他の関連ライブラリツールとの比較を行います。最後に、CodeTFが機械学習/生成AIとソフトウェア工学の間のギャップを埋め、開発者、研究者、実務家のための包括的なオープンソースソリューションを提供できることを期待しています。

English

Code intelligence plays a key role in transforming modern software engineering. Recently, deep learning-based models, especially Transformer-based large language models (LLMs), have demonstrated remarkable potential in tackling these tasks by leveraging massive open-source code data and programming language features. However, the development and deployment of such models often require expertise in both machine learning and software engineering, creating a barrier for the model adoption. In this paper, we present CodeTF, an open-source Transformer-based library for state-of-the-art Code LLMs and code intelligence. Following the principles of modular design and extensible framework, we design CodeTF with a unified interface to enable rapid access and development across different types of models, datasets and tasks. Our library supports a collection of pretrained Code LLM models and popular code benchmarks, including a standardized interface to train and serve code LLMs efficiently, and data features such as language-specific parsers and utility functions for extracting code attributes. In this paper, we describe the design principles, the architecture, key modules and components, and compare with other related library tools. Finally, we hope CodeTF is able to bridge the gap between machine learning/generative AI and software engineering, providing a comprehensive open-source solution for developers, researchers, and practitioners.